2020-02-26
阅读量:
848
spark中checkpoint的作用
spark中的checkpoint机制主要有两种作用，一是对RDD做checkpoint，可以将该RDD触发计算并将其数据保存到hdfs目录中去，可以斩断其RDD的依赖链，这对于频繁增量更新的RDD或具有很长lineage的RDD具有明显的效果。另一种用途是用于Spark Streaming用于保存DStreamGraph及其配置，以便Driver崩溃后的恢复
0.0000
0
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
ly168168
2025-09-02
0条评论
天下无欺诈
2025-08-06
0条评论
小小杰杰
2025-04-28
0条评论
