热线电话：13121318867

登录
首页大数据时代python数据清洗中，是如何识别和处理异常值的？
python数据清洗中，是如何识别和处理异常值的？
2020-07-17
收藏

异常值处理是python数据清洗中重要的步骤，虽然异常值出现频率比较低，但是如果置之不理的话，还是会对实际项目的分析造成偏差，所以今天小编就跟大家分享python数据清洗中应该如何识别和处理异常值，希望对大家有所帮助。

一、异常值概念

异常值，又称离群点，就是那些远离绝大多数样本点的特殊群体，通常这样的数据点在数据集中都表现出不合理的特性，需要注意的是，异常值正常范围的值，不是错误值。

二、python数据清洗中异常值的识别

通常python数据清洗中，可以借助箱线图、正态分布图这些图形法来进行异常值识别。

1.箱线图法

采用箱线图识别异常值的判断标准为：当变量的数据值超出箱线图上须和下须的范围之外，也就是大于箱线图的上须或者小于箱线图的下须时，就可以认为这样的数据点为异常点。

2.正态分布图法

如果数据点落在偏离均值正负2倍标准差之外的概率就不足5%，它属于小概率事件，即认为这样的数据点为异常点。同理，如果数据点落在偏离均值正负3倍标准差之外的概率将会更小，可以认为这些数据点为极端异常点。

三、python数据清洗中异常值的处理

(1)直接将异常值删除

(2)暂且保留异常值，结合整体模型进行综合分析

(3)在样本量很小的情况下，可以使用均值或其他统计量取代

(4)将异常值视为缺失值，利用处理缺失值的方法进行处理

(5)不处理，根据该缺失值的性质特点，使用稳健模型加以修饰

(6)利用抽样技术或者模拟技术，接受更合理的标准误等信息


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

python python数据清洗 数据清洗 正态分布 异常值处理 偏差

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇pandas是如何检测和处理缺失数据的？
下一篇快速教会你EXCEL重复值处理常用的几个小技巧！
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询