2019-01-20
阅读量:
1316
pyspark中调用jieba，显示没有那个包
pyspark中调用jieba，显示没有那个包。local模式运行没问题，但是使用standalone模式运行的时候显示import jieba 错误，这是啥原因？
答：由于spark框架是一种并行运算框架，当以local模式运行时，程序只在当前节点运行，pyspark用的只有当前的python环境。但是当以集群模式运行的时候每个节点的python必须一致，因为同一段代码会在各个worker节点执行。解决办法就是在每个节点上都安装相同的python包，这个问题中就是要在每个节点上都安装jieba包。
0.0000
0
4
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论