大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

类别性数据的相关性分析

分类数据是只能归于某一类别的非数字型数据，它是对事物进行分类的结果，数据表现为类别，用文字来表述的。对分类数据的频数检验的方法可以用a检验来表示。公式如下：a根据分类变量的数量可以分为拟合优度检验和独立性检验。拟合优度检验是对一个分类变量的检验，独立性检验是对两个分类变量的检验。通过以上检验，检验数据是否具有相关性。

11.0007

1

5

0

关注作者

收藏

PGC123

如何更新pip 版本？

有时候在使用 pip install xxx（库的名称）,安装某些第三方库。会显示安装失败，需要更新pip的版本，此时需要执行这样一段代码:python -m pip install --upgrade pip .将pip版本升级到最新的版本。再安装即可。a图中的18.1代表安装的pip版本为18.1

0.0000

0

5

0

关注作者

收藏

PGC123

这段代码啥意思？

下面这段代码啥意思？为啥for循环里面没有i ,下面的代码也没使用_这个变量？ls = [1,2,3,4,5,6,7]for _ in range(3): print(ls)答：有时候我们想让一段代码执行指定次数的时候就可以这样写，上面的代码将ls 打印3遍的意思。

0.0000

0

0

0

关注作者

收藏

PGC123

配置了mysql的环境变量之后cmd中无法识别

配置了mysql的环境变量之后cmd中无法识别答：在配置环境的时候，可能电脑之前的mysql安装后卸载没有卸载干净，所以导致配置环境变量之后，执行的是原残留的mysql的文件。需要重新找到新安装的mysql文件所在位置，重新配置环境变量，即可。（在控制面板中找到环境变量，点击，在path中贴加就行）如图：a

0.0000

0

2

0

关注作者

收藏

PGC123

运行spark job失败

日志信息如下，这是什么问题？要怎么解决[I 18:40:48.389 NotebookApp] Adapting to protocol v5.1 for kernel d27b7c29-4bda-47b1-97e7-67faf52079c2[Stage 0:> (0 0) /

0.0000

0

5

0

关注作者

收藏

kejiayuan0806

试一下哦哦

0.0000

0

0

0

关注作者

收藏

PGC123

数据归一化标准化的优点是什么?

数据归一化标准化的优点是什么?答：将数据变为一个特定范围内的的数值，如映射到[0,1]，方便数据处理和使用；将有量纲表达式，变为无量纲表达式，成为一个纯量；可以提升模型的迭代速度；可以提升模型的精度，比如在计算欧式距离时，x维度的取值范围远远大于y维度时，容易造成精度的损失。因此，为了提高结果的准确性和可靠性，需要对原始指标数据进行归一化/标准化处理。

0.0000

0

2

0

关注作者

收藏

PGC123

下载好pip最新版本,在执行安装命令的时候,会报错？

下载好pip最新版本,在执行安装命令的时候,会报错？答：因为此时报错的信息是环境变量没有访问权限。需要获取调用次命令的权限。就好像在访问windows里的一些页面时，会提示没有访问的权利一样。此时需要贴加一些代码来以一个类似‘管理员’的身份运行。’ python get-pip.py’,加一个‘--user’就行：python get-pip.py --user。

0.0000

0

0

0

关注作者

收藏

PGC123

standalone集群方式提交作业

提交命令./spark-submit --master spark://node01:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar100执行流程 - 1.cluster模式提交应用程序后，会向Master请求

0.0000

0

0

0

关注作者

收藏

PGC123

spark standalone 客户端提交方式

Standalone-client模式是spark作业的一种提交方式提交命令./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100./spark-submit --maste

0.0000

0

1

0

关注作者

收藏

PGC123

jupyter notebook 登录提示要密码？

jupyter notebook 登录提示要密码？网页打开的时候提示输入密码登录，没有密码呀，怎么登录？答：如果不是本地并且是默认浏览器登录，jupyter notebook 会提示输入密码。最稳妥的做法是创建密码，这样不用单独粘贴授权码。生成密码的方式有多种，最简单的是利用jupyter notebook password 命令来创建密码

0.0000

0

8

0

关注作者

收藏

PGC123

standalone模式启动spark的时候报错：

standalone模式启动spark的时候报错：[hduser@master spark-2.4.0-bin-2.6.0-cdh5.7.0]$ ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /home/hduser/app/spark-2.4.0-bin-2.6.0-cdh5.7.

0.0000

0

3

0

关注作者

收藏

PGC123

FSDataInputStream

spark-shell报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream答：从spark1.4以后，所有spark的编译都是没有将hadoop的classpath编译进去的，所以必须在spark-env.sh中指定hadoop中的所有jar包。

0.0000

0

2

0

关注作者

收藏

PGC123

range函数的返回值是什么？

range函数的返回值是什么？答：range 函数在python2 与python3中是不同的，在python2中range函数返回的是序列，而在python3中返回的是生成器。range函数定义如下：range([start,]stop[, step])start :起始值stop: 终止值step:步长

0.0000

0

5

0

关注作者

收藏

PGC123

xrange的用法是什么？

xrange的用法是什么？答：xrange是python2中的内建函数用来生成一个生成器的，函数定义如下：xrange([start,]stop[, step])主要有三个参数： start ：起始值(闭) stop : 终止值（开） step : 步长xrange(1,9,1) # 生成12345678 8个数的生成器

0.0000

0

1

0

关注作者

收藏

PGC123

requests 模拟登录如何写？

requests 模拟登录如何写？答：提交密码账号一般是使用 post 方式提交的参考代码如下：import requestsurl="https://www.douban.com/accounts/login" #action属性params={ "source":"index_nav", #input标签下的name "form

0.0000

0

4

0

关注作者

收藏

PGC123

spark可以读取哪些数据？

spark可以读取哪些数据？答：spark可以从多个文件系统读取数据、例如NTFS、FAT这类的本地文件系统或者hdfs S3 等分布式文件系统。spark 还支持多种数据格式：文本、parquet、 JSON、Hive table等

0.0000

0

3

0

关注作者

收藏

PGC123

pyspark创建RDD的方法有哪些？

pyspark创建RDD的方法有哪些？答：pyspark创建RDD有两种方法:一、parallelize(...) 集合（元素list 或array）二、使用外部数据源创建使用外部文件创建 data_in_file = sc.textFile('in_data.csv',2)

0.0000

0

3

0

关注作者

收藏

PGC123

如何处理文件路径中的\

如何处理文件路径中的 \ ?print("c:\nowhere")结果：c:owhere答：可以再加 \ 来禁止特殊字符转义print("c:\\nowhere")c:\nowhere但是如果路径比较长这个方法是不好操作的。还有一种办法在字符串前面加rprint(r"c:\nowhere")c:\nowhere

0.0000

0

4

0

关注作者

收藏

PGC123

python str 与 repr 用法是啥?

python str 与 repr 用法是啥?答：python可以通过使用str 与 repr 这两种机制将值转换为字符串。str 能将特殊编码转换为相应的字符print(str'hello \nworld')输出： hello worldrepr 能将值转换为合法python表达式print(repr'hello \nworld')输出：'hello \nworld'

0.0000

0

2

0

关注作者

收藏

<1…585960…75>

CDA考试动态

CDA报考指南