数据处理四步法

一、数据处理概述

定义： 在正式开展数据分析之前，对原始采集的数据进行整理、修正、加工和精简等一系列操作。

目的： 把杂乱、残缺、多源的原始数据，变成干净、规范、可用的数据集，是数据分析的前置基础工作。

原始数据为什么不能直接分析

• 杂乱： 数据来源分散、格式不统一、重复条目多，无法直接使用。
• 错误： 存在缺失值、异常值、录入错误，直接分析会得出错误结论。
• 不规范： 字段格式混乱、单位不统一、命名不一致，需要加工整理。

数据处理四步走

1. 第 1 步 数据清洗： 改错、去脏。
2. 第 2 步 数据集成： 合并多张表。
3. 第 3 步 数据转换： 改格式、加工字段。
4. 第 4 步 数据规约： 精简数据。

二、数据清洗

1. 重复值

• 含义： 多条记录所有关键字段完全一致。
• 产生原因： 多次提交表单、系统重复导出、人工录入失误。
• 处理方法： Excel：删除重复值；SQL：DISTINCT 去重。
• 注意： 部分记录数值碰巧一样，但业务上是不同个体，不能当成重复值删除。

2. 缺失值（NULL）

• 含义： 字段为空，没有采集到对应信息。
• 产生原因： 用户未填写、采集故障、数据同步丢失。
• 处理方法一： 数据量大、缺失少 → 直接删除该行。
• 处理方法二： 文本字段 → 填充「未知 / 无」。
• 处理方法三： 数值字段 → 中位数 / 均值 / 众数（优先中位数）。
• 处理方法四： 关键数据 → 保留缺失。

记忆要点： 数值字段优先用中位数填充，抗干扰能力最强。

3. 异常值（离群值）

• 错误型异常值： 录入或采集错误 → 删除或修正。
• 真实业务离群值： 业务中的极端数据 → 不能随意删除，分析时要单独说明。
• 检测方法： IQR 四分位数法。
• 公式：
• Q1 = 下四分位数（25%位置）
• Q3 = 上四分位数（75%位置）
• IQR = Q3 − Q1
• 异常值范围： 小于 Q1 − 1.5×IQR，或大于 Q3 + 1.5×IQR。
• 注意： 不能盲目删除异常值，要先判断是录入错误还是真实业务数据。

三、数据集成与转换

1. 数据集成：多表合并

• 定义： 把多个数据源、多张数据表的数据合并到一起。
• 常用方法： Excel 多表合并；SQL JOIN（横向连接）、UNION（纵向合并）。

常见问题

• 问题一 同名异义： 同名不同意思。
  例：A 表「收入」代表月收入；B 表「收入」代表年收入。
• 问题二 异名同义： 不同名字相同意思。
  例：表 1 cust_id、表 2「客户编号」，都是客户唯一 ID。
• 问题三 数据冲突： 同一对象数据不一致。
  例：客户 A，表 1 登记年龄 28，表 2 登记年龄 30。

记忆口诀： 数据集成 = 拼图。

2. 数据转换：数据加工

• 操作一 字段类型转换： 文本转日期、文本转数字。
  例：文本格式的「2026-10-15」→ 日期类型。
• 操作二 数据分箱（离散化）： 分数 → 优秀 / 及格 / 不及格；年龄 → 少年 / 青年 / 中年 / 老年。
• 操作三 标准化、归一化： 消除量纲影响，统一数值尺度。
• 操作四 衍生指标计算： 新增字段。
  例：客单价 = 总销售额 ÷ 订单数量；利润率 = 利润 ÷ 营收。
• 操作五 编码替换： 标签编码：男=1、女=0；独热编码：多分类使用。

记忆口诀： 数据转换 = 变形（改格式、加工出新数据）。

四、数据规约：精简数据

定义： 对清洗、集成、转换完成后的数据集，最大限度保留原有的有效信息，减少数据，提升分析效率。

注意： 不是删除脏数据（脏数据是数据清洗干的活）；规约删的是冗余、重复、低价值的有效数据。

记忆口诀： 数据规约 = 瘦身、精简数据。

1. 维度规约：删掉无用字段（删列）

• 相关系数筛选： 删除高度相关的冗余字段。
• 主成分分析 PCA： 多个相关指标压缩成少数几个综合指标（了解即可）。
• 业务筛选： 从业务角度剔除无关字段。

2. 样本规约：减少数据行数（删行）

• 作用： 保留样本分布特征。
• 随机抽样： 简单随机抽样、分层抽样。

3. 数值规约

• 作用： 对连续数值做简化，减少取值数量。
• 方法： 直方图、分箱、聚类。

五、数据处理四步法总结

数据处理是数据分析的基石，掌握四步法，让分析更高效。

六、全篇速记

• 数据处理： 数据分析前的整理、修正、加工、精简；原始数据杂乱、错误、不规范，不能直接用。
• 四步走： 清洗（改错去脏）→ 集成（合并多张表）→ 转换（改格式、加工字段）→ 规约（精简数据）。
• 清洗三兄弟：
• 重复值：SQL 用 DISTINCT 去重；
• 缺失值：数值字段优先填中位数；
• 异常值：IQR 四分位数法。
• 集成三问题： 同名异义、异名同义、数据冲突；方法：JOIN 横向连接、UNION 纵向合并。
• 转换五操作： 类型转换、数据分箱、标准化归一化、衍生指标计算、编码替换。
• 规约两方向：
• 维度规约删列（相关系数、PCA、业务筛选）；
• 样本规约删行（随机抽样）；
• 数值规约简化取值（直方图、分箱、聚类）。
• 记忆口诀： 清洗 = 改错去脏、集成 = 拼图、转换 = 变形、规约 = 瘦身。