spark 的优化怎么做？

spark 调优比较复杂，但是大体可以分为三个方面来进行

1）平台层面的调优：防止不必要的 jar 包分发，提高数据的本地性，选择高效的存储格式如 parquet

2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用 RDD 进行缓存，作业并行化执行等等

3）JVM 层面的调优：设置合适的资源量，设置合理的 JVM，启用高效的序列化方法如 kyro，增大 off head 内存等等

阅读全文 → 2023-01-16

简单说一下 hadoop 和 spark 的 shuffle 相同和差异？

1）从 high-level 的角度来看，两者并没有大的差别。都是将 mapper（Spark 里是 ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的ShuffleMapTask，也可能是 ResultTask）。Reducer 以内存作缓冲区，边shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce()（Spark 里可能是后

阅读全文 → 2023-01-16

Spark 为什么比 mapreduce 快？

1）基于内存计算，减少低效的磁盘交互；
2）高效的调度算法，基于 DAG；
3）容错机制 Linage，精华部分就是 DAG 和 Lingae

阅读全文 → 2023-01-16

spark 的有几种部署模式，每种模式特点是什么？

1）本地模式

Spark 不一定非要跑在 hadoop 集群，可以在本地，起多个线程的方式来指定。将 Spark 应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类

local：只启动一个 executor

local[k]: 启动 k 个 executor local[*]：启动跟 cpu 数目相同的 executor

2）standalone 模式

分布式部署集群，自带完整的服务，资源管理和任务监控是 Spark 自己监控，这个模式也是其他模

阅读全文 → 2023-01-16

Spark 主备切换机制原理知道吗？

Master 实际上可以配置两个，Spark 原生的 standalone 模式是支持 Master 主备切换的。当 Active Master 节点挂掉以后，我们可以将 Standby Master 切换为 Active Master。

Spark Master 主备切换可以基于两种机制，一种是基于文件系统的，一种是基于ZooKeeper 的。基于文件系统的主备切换机制，需要在 Active Master 挂掉之后手动切换到 Standby Master 上；而基于 Zookeeper 的主备切换

阅读全文 → 2023-01-13

spark 工作机制有哪些？

用户在 client 端提交作业后，会由 Driver 运行 main 方法并创建 spark context 上下文。执行 add 算子，形成 dag 图输入 dagscheduler，按照 add 之间的依赖关系划分。

stage 输入 task scheduler。task scheduler 会将 stage 划分为 task set 分发到各个节点的 executor 中执行。

阅读全文 → 2023-01-13

首页上一页 96 97 98 99 100 101 102 103 104 105 下一页尾页