热线电话：13121318867

登录
首页大数据时代数据清洗中常用的异常值检测的几种方法
数据清洗中常用的异常值检测的几种方法
2020-06-30
收藏

异常值是指样本中的个别值，其数值明显偏离它(或它们们)所属样本的其余观测值。异常值分析目的是检验是否有录入错误的数据以及是否含有不合常理的数据时。如果对异常值的存在忽视不见，在数据的计算分析过程中把异常值包括进去，是十分危险的，将对结果会产生不良影响。因此我们需要重视异常值的出现，分析其产生的原因，找到正确的改进方法。下面小编介绍几种常用的异常值检测方法，希望对大家有所帮助。

1.箱形图是数字数据通过其四分位数形成的图形化描述。这是一种非常简单但有效的可视化离群点的方法。考虑把上下触须作为数据分布的边界。任何高于上触须或低于下触须的数据点都可以认为是离群点或异常值。

2.DBScan 是一种用于把数据聚成组的聚类算法。它同样也被用于单维或多维数据的基于密度的异常检测。其它聚类算法比如 k 均值和层次聚类也可用于检测离群点。

3.孤立森林(Isolation Forest)方法是一维或多维特征空间中大数据集的非参数方法，其中的一个重要概念是孤立数。孤立数是孤立数据点所需的拆分数。

4. 可以使用python中的pandas库，直接使用describe()来观察数据的统计性描述(只是粗略的观察一些统计量)，不过统计数据为连续型的。用这种方法可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试教材；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试题库；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想了解CDA院校合作，点击>>> “院校合作” 了解咨询CDA院校合作；

pandas 层次聚类 特征空间 python 特征 大数据

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇R语言是什么，特点有哪些？
下一篇第十二届CDA数据分析师认证考试会因为疫情推迟吗？
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询