Spark 主备切换机制原理知道吗?

Master 实际上可以配置两个,Spark 原生的 standalone 模式是支持 Master 主备切换的。当 Active Master 节点挂掉以后,我们可以将 Standby Master 切换为 Active Master。


Spark Master 主备切换可以基于两种机制,一种是基于文件系统的,一种是基于ZooKeeper 的。基于文件系统的主备切换机制,需要在 Active Master 挂掉之后手动切换到 Standby Master 上;而基于 Zookeeper 的主备切换机制,可以实现自动切换 Master。


蓝海大脑 京ICP备18017748号-1