使用findspark.init() 报错

hunter.Z

2022-07-27 阅读量: 1364

%950J1R5`SPG]DI5CKW7%D2.png

findspark这个软件是帮我们初始化pyspark相关环境的一个python库。其工作原理是通过SPARK_HOME环境变量来找到pyspark 以及Py4j这两个python模块的位置，并将两个包的位置添加的sys.path中。这样我们无需在当前Python环境中安装Pyspark 以及Py4j便可直接import 这两个模块。

在了解findspark的工作原理后我们来看一下报错信息，很明显是SPARK_HOME这个变量的值并不是真正spark的文件路径，所以需要修改SPARK_HOME为当前电脑上正确的spark文件位置，这样便可解决错误。