大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

颜夕小妞

线性回归建模的流程

步骤一：明确需求明确因变量Y步骤二：数据清洗缺失值处理异常值处理：三倍标准差以外的数值分类变量步骤三：相关性分析探索所有自变量与因变量的相关性，得出相关系数，并画出散点图步骤四：分割测试集训练集20%的数据作为测试集80%的数据作为训练集步骤五：回归F检验T检验R^2：一元线性回归，看R^2：多元线性回归，看调整R^2步骤六：模型调优残差服从正态分布含义：残差服从

34.4522

7

2

0

关注作者

收藏

大魔王泛泛

hive报错 Failed command:insert into table address values

这是因为没有配置事务支持，在Hive中只有配置了事务支持才可以执行insertHive是用来做数仓的，基本上不执行事务处理

33.7742

2

3

0

关注作者

收藏

大魔王泛泛

启动HDFS系统时DataNode节点没有启动起来

如图中错误信息所示：我们只要把dfs下的所有文件夹全部删除，然后重启HDFS系统即可成功

90.4576

4

4

0

关注作者

收藏

大魔王泛泛

HDFS中使用put命令上传到hdfs的文件也会进行分布式存储？

答：会的我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现；在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M

72.1973

2

3

0

关注作者

收藏

大魔王泛泛

HDFS中使用put命令上传到hdfs的文件也会进行分布式存储

答：会的我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现；在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M

0.5077

1

3

0

关注作者

收藏

大魔王泛泛

HDFS中副本的存放策略

HDFS 在默认配置下副本数是3个，通常的存放策略是：第一个副本放在和Client相同机架的Node里（如果Client不在集群范围，第一个Node是随机选取不太满或者不太忙的Node）第二个副本放在与第一个Node不同的机架中的Node第三个副本放在与第二个Node所在机架里不同的Node.

0.5077

1

1

0

关注作者

收藏

大魔王泛泛

Linux系统中怎样自动追踪文件新增内容

在Linux系统中使用tail命令即可实现自动追踪文件新增内容命令：tail -F 文件名如下图所示：左侧终端是用来追踪文件新增内容，右侧终端是用来编辑文件内容我们将编辑之后的文件保存，结果如下：

22.9572

2

1

0

关注作者

收藏

大魔王泛泛

怎样开启Windows系统中的虚拟化技术？

首先打开自己电脑的任务管理器看下性能那一栏下的右下角有个虚拟化看显示的是否是：已启用如果不是的话（这里以hp电脑为例）：开机时按F10键进入到BIOS系统选择“Security”-“System Security”敲击回车，选择“Virtualization Technology（VTx）”通过方向键左右键切换更改“Virtualization Technology（VTx）”选择“

24.6852

2

1

0

关注作者

收藏

大魔王泛泛

CentOS7下设置Mysql数据库字符集编码为utf8

vi /etc/my.cnf在[client]字段下添加：default-character-set = utf8在[mysqld]字段下添加：character-set-server = utf8 collation-server = utf8_general_ci保存并退出重启Mysql服务:system restart mysq

26.8058

2

1

0

关注作者

收藏

颜夕小妞

多表连接对应的三种关系

数据库中的表存在以下三种对应关系：

84.8374

5

2

0

关注作者

收藏

大魔王泛泛

ModuleNotFoundError: No module named ' pyspark

在jupyter lab里运行pyspark时错误如下图所示：解决方法：把spark/python/lib 下的 py4j和pyspark 放到 anacdonda里的site-package目录下并解压

26.6533

1

3

0

关注作者

收藏

颜夕小妞

数据结构分类以及关系型与非关系型表结构的区别，你掌握了吗？

数据结构分为两种，一种为表格型数据结构，一种为表结构型数据结构。表格：由固定列数和任意行数构成。表结构：表结构可是由字段和记录组成的。表格和表结构的关键区别：表结构是由字段组成的，且一个字段有且仅有一种数据类型；表呢有行类组成，不能类的数据类型可以不一样；定位方式不一样：表格可以通过行号和列号实现定位，但如果我们想定位表结构中的某一个位置，如何实现呢？答案就是通过字段和主键；3.表结构

24.9481

5

3

0

关注作者

收藏

大魔王泛泛

error：not found: value sc

启动spark-shell 执行 val sqlHiveContext = new HiveContext(sc)语句时报错:如图这是因为shell启动时没有初始化sparkContext，修改conf/spark-env.sh文件，添加如下内容：export SPARK_LOCAL_IP="192.168.23.131" 把 192.168.23.131 改成自己的ip即可之后重新

24.9187

2

1

0

关注作者

收藏

大魔王泛泛

CentOS7中怎样修改文件夹权限？

使用root用户执行 chown -R hduser:hduser conf再切换到hduser用户执行chmod -R 777 conf

53.1304

2

1

0

关注作者

收藏

大魔王泛泛

conda install 错误信息：An HTTP error occurred when trying to retrieve this URL

这是因为我们 conda install 时默认连接的是国外的镜像源而从国外下载速度极慢，导致报错我们为Anaconda配置一下国内的镜像源就可以解决了执行代码如下：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_ch

77.3248

1

5

0

关注作者

收藏

大魔王泛泛

Jupyter Notebook和Pycharm的适用场景分别是什么？

Jupyter Notebook是一个交互式笔记本，支持运行 40 多种编程语言，其本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和markdown，用途包括:数据清理和转换，数值模拟，统计建模，机器学习等Pycharm集成开发环境（IDE）是提供给程序员和开发者的一种基本应用，用来编写和测试软件，通常能够通过 GUI（图形界面）来操作，如果你是we

81.0185

5

3

0

关注作者

收藏

大魔王泛泛

SparkContext和SparkSession有什么区别

SparkContext、SparkSession是对Spark计算集群的一个连接，当我们通过shell启动Spark时，会默认创建，如SparkContext会默认创建一个命名为sc的实例SparkContext是使用spark功能的入口点，主要用于创建和操作RDDSparkSession是Spark2.x后引入的概念，在2.x之前，对于不同的功能，需要使用不同的Context如：创建和

21.5040

3

1

0

关注作者

收藏

大魔王泛泛

object has no attribute 'show'

‘NoneType’object has no attribute 'show' 出现这种错误：是因为 sim_df_dis_com这个变量没有赋值成功重新运行29行代码即可解决

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

运行spark程序时，等待时间过长的原因

出现这种程序运行过长的原因大致就是是因为内存过小从而导致的程序运行较慢

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述udf与def的区别

UDF即用户自定义函数，在Spark Sql的开发中十分常用，UDF对表中的每一行进行函数处理，返回新的值，有些类似与RDD编程中的Map()算子def是我们定义一个函数或方法的关键字

62.0087

2

3

0

关注作者

收藏

<1…171819…75>

CDA考试动态

CDA报考指南