数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

Dreaming2019

请教一下，今年二级建模考试的清洗思路

今年考试，数据中有130个字段，第一个任务是要清洗数据，提取数据，寻找字段进行分析，因为上课练习时数据质量和体量都比较小，所以想请教一下，面对这样的真实数据的第一步清洗工作的思路，或者解题步骤。主要困惑在：1.130个字段每一个字段都要进行缺失值填补吗？ 2.用什么方法判别需要纳入分析的字段。后120分钟.rar

32.4068

4

2

0

关注作者

收藏

s1223452840

Python转义字符的用法整理？

这是转义字符的用法整理

32.1296

4

2

0

关注作者

收藏

zzz778290113

特征筛选及PAC

特征筛选：当特征非常多的时候，可能存在冗余，特征越多，可能噪音越多，同时特征越多，模型效率越低，可以考虑进行特征筛选来去掉无效的信息，看看是否可以提高模型的准确度。既可以提升模型的泛化能力，也能够减少模型运行的时间特征筛选的方法，在对测试集进行筛选的时候，使用的是通过训练集训练之后的模型进行筛选在特征筛选的方法中，以下方法一到四的效果（单变量特征筛选方法）不如方法五和方法六的效果好方法一：方差过滤

32.2423

4

1

0

关注作者

收藏

Zzyh12

机器学习之决策树

决策树是一种基本的分类与回归方法,由结点和有向边组成,路径上内部结点的特征对应着规则条件,而叶节点的类对应规则的结论(互斥并完备)决策树预测过程:收集数据--准备数据--分析数据--训练算法--测试算法--使用算法决策树的构建:特征选择,决策树的生成,决策树的修剪特征选择的标准:信息增益(在划分数据集之后信息发生的变化,信息增益越高越好)构建决策树的方法:ID3,C4.5,CARTID3具体流程:

32.2423

4

2

0

关注作者

收藏

三角函数1

今日份数据分析分类及分析流程分享

今日份数据分析分类及分析流程分享

22.5918

6

4

0

关注作者

收藏

张敏玉

统计与数学思维导图

统计与数学思维导图

39.0372

5

1

0

关注作者

收藏

张敏玉

描述统计分析报告考试成绩案例

考试成绩分析报告（描述统计分析）对学生成绩进行排序，得到表1：表1 学生考试成绩排序表排序小 → 大小 ↓ 大3560727689466172768951637477925265747793536774789453687479955669748098587075859958717587——59727588—— （1）结合原始资料和表1数据，班级总人数n

22.6125

4

2

0

关注作者

收藏

张敏玉

描述统计分析

如何做描述统计分析（撰写一份数据描述统计分析报告）？五个角度：一.总体规模的描述——总量指标二.对比关系的描述——相对指标三.集中趋势的描述——平均指标四.离散程度的描述——变异指标五.分布形态的描述——偏态与峰态一.总体规模的描述——总量指标总量指标：反映在一定时间.空间条件下某种现象的总体规模、总水平或总成果的统计指标二.对比关系的描述——相对指标相对指标：又称“相对数”，是两个有相互

38.9464

4

0

0

关注作者

收藏

zzz778290113

数据无量纲化：作用：无量纲化可以加快求解速度（例如：逻辑回归、支持向量机、神经网络等）无量纲化可以帮我们提升模型的精度（例如K近邻、K-Means聚类）决策树和树的集成（随机森林、Adaboost）算法比较特殊，对决策树我们不需要无量纲化，决策树可以把任意数据都处理得很好无量纲化的两种方式：归一化：对异常值敏感（preprocessing.MinMaxScaler实现归一化，参数feature

22.5216

3

4

0

关注作者

收藏

s1223452840

d = open('Account.txt','r',encoding = 'utf-8') data = d.readlines() 文件读取出错原因？

d = open('Account.txt','r',encoding = 'utf-8')data = d.readlines()data出错：‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start byte解决办法，编码错误，源文件为 ANSI 格式

32.2124

5

1

0

关注作者

收藏

s1223452840

问：打开文档后出现的 \ufeff 是什么？

是文本保存时包含了BOM（Byte Order Mark，字节顺序标记，出现在文本文件头部，Unicode编码标准中用于标识文件是采用哪种格式的编码）导致的，解决方法是使用 utf-8-sig 编码：

32.2644

6

3

0

关注作者

收藏

wangxishi

python 按照等频分箱并依据好坏客户画出每个分数的分箱趋势图

想实现依据不同的score1,score2..分别将分数进行排序后分别等频分箱，每个分数等频分5箱，并依据好坏客户指标画图

22.6115

3

9

0

关注作者

收藏

Zzyh12

机器学习之聚类K-means

K-均值（K-Means）：K均值法是麦奎因（MacQueen，1967）提出的，这种算法的基本思想是将每一个样本分配给最近中心（均值）的类中 .计算步骤:先从没有标签的元素集合A中随机取k个元素作为k个子集各自的中心分别计算剩下的元素到k个子集中心的距离，根据将这些元素分别划归到最近的子集 ✓ 根据聚类结果，重新计算中心（子集中所有元素各个维度的算数平均数）将集合A中全部元素按照新的中心然后

22.5341

3

4

0

关注作者

收藏

赵娜0418

python中continue语句如何使用？

Python 里的 continue 语句可以用在 while 和 for 循环里。当遇到 continue 语句时, 程序会终止当前循环，并忽略剩余的语句，然后回到循环的顶端。在开始下一次迭代开始前，如果是条件循环，我们将验证条件表达式。如果是迭代循环，我们将验证是否还有元素可以迭代。只有在验证成功的情况下，我们才会开始下一次迭代。

23.3070

7

2

0

关注作者

收藏

s1223452840

pandas中 data.dropna(axis = 0 , thresh = 3) 这个thresh参数的含义？

thresh参数用法是：保留至少有n个非NaN数据的行/列如图，当运行完这一行代码后，data.dropna(axis = 0 , thresh = 3)，可以看到“”1“”行数据被丢弃

22.6570

5

3

0

关注作者

收藏

bowan.

连续型变量离散化

一、离散化原因数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点：算法需要比如决策树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。离散化的特征相对于连续型特征更易理解，更接近知识层面的

29.8301

4

1

0

关注作者

收藏

s1223452840

data.grouby().ngroup()这个编号指的是什么呢，实际中怎么应用的?

实际就是想知道哪个样本分到哪一组了

28.9545

4

3

0

关注作者

收藏

Zzyh12

机器学习之Knn

K最近邻(kNN，k-Nearest Neighbor)：K最近邻分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，每个样本都可以用它最接近的k个邻近来代表.kNN算法的核心思想:如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性.kNN工作原理:存在一个样本数据集合，也称作为训练样本集，并且样

28.9545

3

4

0

关注作者

收藏

汪诗凡

环比与同比的差异及在数据透视表内的操作方法

首先环比和同比都是描述数据变动的比较方法，但是两者的侧重点不同。环比主要是显示数据的短期趋势。例如：上月猪肉20元一斤，这个月24元一斤，则可以表述为，猪肉价格环比增长20%。同比主要是历史同期数据进行比较。例如：去年四月的游客累计100万，今年四月的游客累计95万，则可以表述为，这个月的游客同比减少5%。环比增长率=（本期数－上期数）/上期数×100%同比增长率=（本期数－同期数）

34.9290

3

3

0

关注作者

收藏

赵娜0418

行列式有哪些性质？

（1）、行列式和它的转置行列式相等.（2）、行列式中某一行元素的公因子可以提到行列式符号的外边来.或者说,用一个数来乘行列式,可以把这个数乘到行列式的某一行上.（3）、若果行列式中有一行元素全为零,则行列式的值为零.（4）、交换行列式两行,行列式仅改变符号.（5）、若行列式中有两行完全相同,则这个行列式的值为零.（6）、若行列式有两行的对应元素成比例,则这个行列式等于零.（7）、把行列式某一行的元

0.9830

4

1

0

关注作者

收藏

<1…474849…340>

CDA考试动态

CDA报考指南