Spark 应用程序的执行过程是什么?

1)构 建 Spark Application 的 运 行 环 境 ( 启 动 SparkContext), SparkContext 向资源管理器(可以是 Standalone、Mesos 或 YARN)注册并申请运行 Executor 资源;


2)资源管理器分配 Executor 资源并启动 StandaloneExecutorBackend, Executor 运行情况将随着心跳发送到资源管理器上;


3)SparkContext 构建成 DAG 图,将 DAG 图分解成 Stage,并把 Taskset 发 送 给 Task Scheduler 。 Executor 向 SparkContext 申 请 Task,Task Scheduler 将 Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor;


4)Task 在 Executor 上运行,运行完毕释放所有资源。


蓝海大脑 京ICP备18017748号-1