热线电话：13121318867

登录
首页大数据时代数据清洗中常用的异常值检测的几种方法
数据清洗中常用的异常值检测的几种方法
2020-06-30
收藏

异常值是指样本中的个别值，其数值明显偏离它(或它们们)所属样本的其余观测值。异常值分析目的是检验是否有录入错误的数据以及是否含有不合常理的数据时。如果对异常值的存在忽视不见，在数据的计算分析过程中把异常值包括进去，是十分危险的，将对结果会产生不良影响。因此我们需要重视异常值的出现，分析其产生的原因，找到正确的改进方法。下面小编介绍几种常用的异常值检测方法，希望对大家有所帮助。

1.箱形图是数字数据通过其四分位数形成的图形化描述。这是一种非常简单但有效的可视化离群点的方法。考虑把上下触须作为数据分布的边界。任何高于上触须或低于下触须的数据点都可以认为是离群点或异常值。

2.DBScan 是一种用于把数据聚成组的聚类算法。它同样也被用于单维或多维数据的基于密度的异常检测。其它聚类算法比如 k 均值和层次聚类也可用于检测离群点。

3.孤立森林(Isolation Forest)方法是一维或多维特征空间中大数据集的非参数方法，其中的一个重要概念是孤立数。孤立数是孤立数据点所需的拆分数。

4. 可以使用python中的pandas库，直接使用describe()来观察数据的统计性描述(只是粗略的观察一些统计量)，不过统计数据为连续型的。用这种方法可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

pandas 层次聚类 特征空间 python 特征 大数据

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇R语言是什么，特点有哪些？
下一篇第十二届CDA数据分析师认证考试会因为疫情推迟吗？
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询