大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

没这个 /user/hive/warehouse

问题:mkdir: `/user/hive/warehouse': No such file or directory 原因: 使用hadoop新建目录的时候报错，命名格式有问题解决办法: 输入正确的命令格式例如: $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

23.7978

1

0

0

关注作者

收藏

PGC123

启动Hadoop报错

问题: 启动hadoop时候报错：localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution” 原因: hadoop的环境没有配置好，或者没有使配置生效。解决办法: 如果没有配置Hadoop的环境变量，就填加配置。例如:

43.9833

1

1

0

关注作者

收藏

PGC123

namenode.NameNode

问题:org.apache.hadoop.hdfs.server.namenode.NameNode。原因:没有指定路径解决办法:修改hadoop-env.sh文件。安装的hadoop路径是“/usr/local/hadoop/hadoop-2.8.2”，在此路径下执行 vim etc/hadoop/hadoop-env.sh 在文件最后面添加 export HADOO

0.0000

0

1

0

关注作者

收藏

PGC123

hdfs command is deprecated。

问题2：Use of this script to execute hdfs command is deprecated。原因:hadoop版本问题，命令过时。解决办法: 将hadoop命令改成hdfs。

23.7978

1

2

0

关注作者

收藏

PGC123

error parsing conf hdfs-site..

问题:FATAL conf.Configuration: error parsing conf hdfs-site.xml 原因: 字符编码问题。解决办法: 统一编码，将文件打开，另存为统一编码，如UTF-8 即可。

0.0000

0

3

0

关注作者

收藏

PGC123

迭代时如何跟踪python列表的index?

迭代时如何跟踪python列表的index?答：可以使用python的内置函数enumeratefor i,value in enumerate(collection): pass#其中 i 位索引 value 位序列的值。

0.0000

0

2

0

关注作者

收藏

PGC123

python序列切片的索引是如何定义的？

python序列切片的索引是如何定义的，跟R有啥区别？答：python序列的索引是从0开始的，而R语言是从1开始索引的，如下图所示

23.1844

1

2

0

关注作者

收藏

PGC123

python中哪些数据结构可以用来切片？

python中哪些数据结构可以用来切片？答：切片方式可以选取大部分python序列数据类型。语法:[start:stop:step]start: 起始位置stop:停止位置step:取值方式适用这种语法的数据结构有：字符串、列表等。

41.1766

1

2

0

关注作者

收藏

PGC123

python列表的remove与pop区别？

python列表的remove与pop区别？答：remove:删除指定元素，如果没有该元素则会报错pop:删除指定元素，并返回元素值，pop方法是有返回值的。

23.1844

1

1

0

关注作者

收藏

PGC123

can't use starred expression ?

*号不是可以解压序列吗，为啥执行下面代码d会报错？In [1]: *(1,2,3,4,5,6) File "", line 4SyntaxError: can't use starred expression here答：*号表达式不能单独使用,这样不知道解压后数据的组织形式，可以在其后加逗号来转换位元组或者加[]变位列

42.0390

1

2

0

关注作者

收藏

PGC123

*_ 这是啥用法，代码什么意思？

*_ 这是啥用法，下面代码什么意思？a, b ,*_ = values答：python支持使用*号修饰一个变量来搜集多余的参数。例如L：a,b,*_ =1,2,3,4,5,6,7#此时 a = 1,b =2,剩下的就都存到变量_中啦_ = (3,4,5,6,7)

41.1766

1

1

0

关注作者

收藏

PGC123

python元组不是不可变的对象吗，为啥可以更改其元素？

python元组不是不可变的对象吗，为啥可以更改其元素？tup = ('foo',[1,2],True)tup[1].append(3)tup('foo',[1,2,3],True)这里为啥可以添加元素？答：t元组的不可变指的是：1、元组的元素对象不可变如果元素是可变对象，那元素是可以被修改的，但是不能被替换。2、元组的长度不可变

0.0000

0

3

0

关注作者

收藏

PGC123

jupyternotebook 不建议以root身份运行？

jupyternotebook 不建议以root身份运行？遇到下面的报错咋搞？答：jupyter 默认不建议以root身份运行，可以在启动的到时候使用 --allow-root 跳过警告信息。jupyter notebook --allow-root也可以在配置文件中提前配置好c.NotebookApp.allow_root =True

23.1844

1

3

0

关注作者

收藏

PGC123

python 如何实现spark 计数？

python 如何实现spark 计数？我们通过pyspark 这种交互式的工具进行展示：lines= sc.textFile("README.md")#创建名为lines的RDDlines.count()# 统计RDD中的元素个数lines.first() #取元素的第一行

0.0000

0

4

0

关注作者

收藏

PGC123

启动pyspark的时候提示无法连接7077端口

启动pyspark的时候提示无法连接7077端口，这是什么原因呢？答：pyspark 启动的时候默认是以local 模式启动的，但是如果配置文件中配置好启动方式了则会按照配置的方式去启动。你这个情况是配置了集群模式启动，但是spark集群并没有启动，因此报错。解决思路两个：一、修改配置文件修改 spark-env.sh 或者spark-site.xml二、启动pyspar

0.0000

0

3

0

关注作者

收藏

PGC123

使用jupyter notebook 来启动pyspark?

如何使用jupyter notebook 来启动pyspark?答：首先需要确保 SPARK_HOME及spark的bin目录添加到了环境变量path中然后anaconda的bin路径也要添加到path变量中。这些操作都执行完成之后就可以运行下面命令使用jupyter启动pyspark 了。PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER

0.0000

0

4

0

关注作者

收藏

PGC123

执行代码报错没有spark

执行代码报错没有spark答：spark 是spark2.0以后的spark程序入口，在spark-shell中默认初始化，如果不是使用spark-shell连接spark则z需要自定义spark.自定义方式如下#使用pyspark shell 的时候默认生成sc spark,可以不初始化from pyspark import SparkConf, SparkContextfrom

37.5000

1

2

0

关注作者

收藏

PGC123

使用spark的时候提示没有'sc'怎么办？

使用spark的时候提示没有'sc'怎么办？答：sc是开发spark程序的入口，如果使用spark-shell的话可以自动生成否则需要自定义。自定义方式如下：#首先生成sc,使用pyspark shell 的时候默认生成sc可以不初始化from pyspark import SparkConf, SparkContextimport osimport time# 配置环境变量

0.0000

0

3

0

关注作者

收藏

PGC123

启动pyspark报错

启动pyspark报错，报错如下所示：答：这个报错的原因是不允许远程登录，解决方法是修改jupyter的配置文件.jupyter/jupyter_notebook_config.py。修改如下变量的值c.NotebookApp.ip = '*' #重要。修改成"*"是为了不限定IP访问，如果指定某个IP运行，修改成该IP即可。如果此处维持为原始的localh

37.5000

1

1

0

关注作者

收藏

PGC123

启动pyspark的时候报错，这是为什么？

启动pyspark的时候报错，这是为什么？我是通过anaconda来安装的答：anaconda的安装路径并没有添加到环境变量中，系统无法定位jupyter 的位置所以会报错。解决方法; 将anaconda3/bin的路径放到.bashrc文件的PATH中。

0.0000

0

0

0

关注作者

收藏

<1…373839…75>

CDA考试动态

CDA报考指南