大数据 spark 有哪些组件?

master:管理集群和节点,不参与计算。

worker:计算节点,进程本身不参与计算, 和 master 汇报。

Driver:运行程序的 main 方法,创建 spark context 对象。spark context:控制整个 application 的生命周期,包括 dagsheduler 和 task scheduler 等组件。client:用户提交程序的入口。

蓝海大脑 京ICP备18017748号-1