RDD 的弹性表现在哪几点?

1)自动的进行内存和磁盘的存储切换;


2)基于 Lineage 的高效容错;


3)task 如果失败会自动进行特定次数的重试;


4)stage 如果失败会自动进行特定次数的重试,而且只会计算失败的分片;


5)checkpoint 和 persist,数据计算之后持久化缓存;


6)数据调度弹性,DAG TASK 调度和资源无关;


7)数据分片的高度弹性。


蓝海大脑 京ICP备18017748号-1