使用 IBM SPSS Modeler 进行数据挖掘之数据理解

在数据挖掘项目中，数据理解常常不被重视。但其实数据理解在整个数据挖掘项目中扮演着非常重要的角色，可以说是整个项目的基石。在计算机领域有一句话，“Garbage in，garbage out.” 意思就是说，如果你的输入数据没有经过科学的预处理，你所得到的结果必将是错误的。通过数据理解，我们可以理解数据的特性和不足，进而对数据进行预处理，使得将来得到的模型更加稳定和精确。其次通过理解数据项之间的关系，我们可以为建模时输入数据项和模型的选择提供重要的信息。

首先，我们需要了解 CRISP-DM 模型，从而了解数据理解在数据挖掘工作的位置和作用。接着我们利用一个例子，分三个章节来介绍如何利用 Modeler 来理解和处理原始数据中的缺失值，异常值和各个数据项之间的内在关系。

CRISP-DM 模型

数据挖掘是一项复杂的工程，为了让整个项目便于控制和管理，我们必须遵从一定的标准流程。而 CRISP-DM 模型就是数据挖掘业界比较流行的一种模型。

图 1. CRISP-DM 模型图

CRISP-DM，即跨行业数据挖掘标准流程，这是一种业界认可的用于指导数据挖掘工作的方法。作为一种方法，它包含工程中各个典型阶段的说明、每个阶段所包含的任务以及这些任务之间的关系的说明；作为一种流程模型，CRISP-DM 概述了数据挖掘的生命周期。图 1 展示了 CRISP-DM 中定义的数据挖掘生命周期中的六个阶段。

商业理解：了解进行数据挖掘的业务原因和数据挖掘的目标

数据理解：深入了解可用于挖掘的数据

数据准备：对待挖掘数据进行合并，汇总，排序，样本选取等操作

建立模型：根据前期准备的数据选取合适的模型

模型评估：使用在商业理解阶段设立的业务成功标准对模型进行评估

结果部署：使用挖掘后的结果提升业务的过程

下面，我们以某超市的市场推广活动为例，从商业理解开始，一起来学习如何利用 Modeler 的强大功能来进行数据理解。

商业理解：

现状：

某超市新增加了体育服饰用品营业部。开业一段时间，由于体育服饰用品地处二楼，很多顾客还不知道，营业额没有达到预期。

商业目标：

经理决定进行一次促销活动，具体活动是向会员中的部分用户邮寄打折优惠卡。考虑到优惠卡制作费用，邮寄费用，经理希望能够向那些最有购买潜力的客户邮寄优惠卡。使这些潜在用户了解本超市的体育品牌和刺激他们进行消费。

活动计划：

首先调取自体育用品部营业来的所有销售记录，得到购买体育用品的会员记录，建立模型，对本超市所有会员进行预测，对那些最有可能购买体育用品且尚未购买的客户邮寄优惠卡。以刺激这些潜在客户的消费。

验证条件：

产生潜在客户名单信息后，随机抽取 100 名进行电话调查，表示愿意接受优惠券并且表示会来消费的顾客比例高于 70%.

数据理解

经理将这个任务交给小王来负责，小王首先对超市内现有的数据进行分析：

会员基本信息：会员申请会员卡时登记的信息，其中包含了会员年龄，职业，学历，电话，工作，收入，住址等信息。

消费信息：会员消费的明细记录。

了解了现有数据后，小王发现有以下问题：

会员基本信息是会员提供的，里边有很多值是缺失的，有的看起来是错误的。

而消费信息由于是每次消费后电脑生成，信息是完整的，但是信息却很庞杂，不利于分析。

可用的数据项非常多，到底用哪些数据项来进行数据预测呢？

这几个问题都是数据理解需要解决的问题，下边我们就来看一下如何利用 Modeler 来帮助我们进行数据理解：

使用 Modeler 进行缺失值分析

什么是缺失值？

缺失值就是指数据文件中的某些数据项是未知的值。几乎所有的商业数据挖掘中，都要遇到缺失值的问题，有可能是数据采集中的失误，有可能客户不愿意提供某些信息，面对这样的数据，我们该如何是好 ? 使用这样的数据可能会对我们后期的建模产生不可预料的影响。如果丢弃，这些数据中可能包含着宝贵的信息。下边我们就来看一下如何利用 Modeler 来进行缺失值分析：

缺失值示例

第一步我们需要利用 Modeler 来确定数据文件中缺失值的类型和数量。然后才能做进一步的处理。

首先我们看一下我们例子中需要用到的数据：

图 2. 缺失值分析示例数据

从上图中我们可以看到编号有些记录的值是缺失的。

接下来我们打开 Modeler，新建 Stream，拖入一个“可变文件”节点到工作区。双击节点。选择示例数据文件作为输入。然后我们点击“可变文件”节点的预览按钮。得到结果如图：

图 3. 原始数据预览图

从预览图里我们可以看出记录 002 的年龄为 null，性别为空 , 这两个值都可以被 Modeler 自动识别为缺失值。这是 Modeler 针对不同类型的数据做了不同的处理。这里年龄被 Modeler 识别为整数类型，性别被识别为字符串类型。另外我们发现 005 的电话号码依然为“无”，并没有做任何替换。着我们这个示例里电话号码“无”是一个语义上的缺失值，在很多数据文件中都可能含有这样的信息，那么在 Modeler 里怎么定义这样的缺失值呢？这个我们稍后会做介绍。

利用“数据审核”节点审核数据

“数据审核”节点可以提供给我们很多有用的信息，其中就包括数据缺失值信息。下边，我们就将“数据审核”节点加入到我们的 stream 中来，连接“可变文件”节点和“数据审核”节点，运行 Stream，我们可以得到下图

图 4. 数据审核结果图

从上图中我们可以看到很多有用的信息，数据的分布图形，数据的类型，统计值等，在这里我们要关注的是最后一列有效数据，这里我们发现年龄，性别，学历，月收入的有效值都不是 30，这说明 “数据审核”节点已经成功的帮我们识别出了这两列的缺失值。同时我们可以发现电话这一项的有效数据仍然是 30.

下边我们就来看看如何在 Modeler 中定义缺失值。

缺失值定义

双击“可变文件”节点，选择类型页。如下图：

图 5. “可变文件”节点类型页

在类型页里我们发现有一列名为“缺失”，我们在电话这一列我们点击缺失这以空白项。

图 6. 指定缺失值

我们选择指定…，会打开一个新的页面：

图 7. 配置电话缺失值

如上图，我们选择“定义空白”，添加一个缺失值为“无”。然后点击确定，关闭窗口。

接着我们再来运行数据审核，得到如下结果：

图 8. 数据审核结果图

这次我们可以发现电话这一项的有效数据变成了 29. 说明我们定义的缺失值成功了。

然后我们选择“数据审核”节点的质量页，如下图 :

图 9. 数据质量结果图

从上图中可以看出完整的字段为 37.5%，完整的记录为 83.33%，这时我们可以决定如何处理缺失值，如果我们完整的字段占的比例很高，那么我们一般应该过滤掉包含缺失值的字段然后进行建模。另一种情况，如果完整记录所占比例较高那么我们应该删除那些含有缺失值的记录然后进行建模。

Modeler 考虑到这两种情况，提供了非常实用的功能来帮助我们进行数据的筛选。我们打开数据审核结果，选择质量页面，单击工具条上的生成按钮，里边可以选择生成列的过滤节点，或者值的选择节点。生成的节点可以帮助我们自动过滤含有缺失值的行或者列。

上面所说的对缺失值的处理是删除含有缺失值的列或者行，还有一种办法是我们可以对缺失值进行填充，比如我们可以用缺失值所在列的平均值，随机值来进行填充，或者我们对该列进行建模预测，来达到填充缺失值的目的。

使用 Modeler 进行异常值分析

什么是异常值

异常值就是数据文件中那些和其它值相比有明显不同的值，它们可以通过观察数据分布来确定。

在具体考虑异常值时，我们需要注意异常值的类型，一般分为两种，一种是可枚举类型，比如超市里的商品名，商品名不可能有异常值。假如我们利用会员购买的商品来预测他会不会购买体育用品，因为商品很多，使得购买相同商品的用户数量很少，所建模型就会很不稳定。这时我们应该对商品进行抽象，比如抽象为水果，零食，日用品，蔬菜，化妆品等，用这样的数据进行预测，就会使模型可靠性提升。利用 Modeler 里的“分布”节点可以对这种可枚举类型的数据进行分组。

图 10. 001 用户消费记录

假如我们有上表这样的数据，我们如何将商品进行抽象分组呢？首先我们建立一个 stream，用“可变文件节点”来读取数据。然后连接一个“分布”节点。运行分布节点，得到下图。

图 11. 分布节点运行结果

比如我们可以选择梨，苹果，然后右键选择“组”，建立一个水果组。类似的建立一个化妆品组。然后我们可以选择“生成”菜单，让 Modeler 自动帮我们生成一个分组节点。这样，我们就可以用水果，化妆品这样的具有一定抽象意义的值来代替原来具体的值。

另一种类型就是连续型数据，比如用户收入，用户年龄等。对于连续型数据，运行数据审核节点，在质量页面我们就可以查看离群值和极值。默认情况下，Modeler 是根据平均值的标准差来确定离群值和极值的。在运行“数据审核”结果页面我们也可以设置离群值和极值的处理方法

图 12. 处理异常值的设置

选择工具条里的生成按键，选择离群值和极值超节点。这时，Modeler 会帮我们自动生成一个过滤离群值和极值的超节点。我们连接“可变文件”节点和这个超节点，Modeler 就会帮我们按照我们期望的处理方式来处理离群值和极值。

还有一种异常值是需要多个列组合才能看出来。比如某顾客每个月在超市消费额都在 1000 以上，但是他的会员信息显示他的月收入为 1000 元，这条记录就可以被识别为异常值。需要进一步分析。同样 Modeler 也提供了相应的功能来帮助我们识别这样的联合分布的异常值。

图 13. 用户收入消费表

从上边的数据中，我们很难发现哪条数据有异常，下边我们就用 Modeler 里的“图”节点来帮助我们分析数据。

我们将“可变文件”节点的数据文件指向示例数据，添加一个“图”节点，并双击“图”节点，如图：

图 14. 设置图节点

运行图节点。

图 15. “图”节点结果

这是我们能明显看到左上角的一个异常值，鼠标移动到这个点上，我们可以看到这个点所代表的详细信息。

使用 Modeler 观察数据项之间联系

对于数据挖掘来说在进行真正的建模之前，通过观察数据项之间的关系，特别是输入数据项和目标数据项之间的关系，是非常有意义的，它能快速的让我们对数据之间的关系有个大概了解，精简一些不必要的数据项，提高建模速度和稳定性。

下边我们就以超市调查结果来看，其中已经将会员消费记录整合成水果，蔬菜，日常用品，零食等，这些列的数字代表此项消费在该会员所有消费中所占的百分比。最后一列表示用户是否对体育用品优惠活动感兴趣。

图 16. 用户意向表

同样我们新建一个 Stream，加入一个“可变文件”节点，修改文件路径到示例数据，然后，我们连接一个“均值”节点。双击“均值”节点，进入编辑：

图 17. 均值节点

我们选择接受为分组字段，年龄，月收入，水果，蔬菜，日常用品，零食为测试字段。

然后，我们运行“均值”节点，得到下表：

图 18. 均值节点结果

从统计数据来看，可以决定用户是否对体育用品感兴趣的重要因素为水果，日常用品，年龄，蔬菜。而零食和月收入对预测影响较小。

结束语

通过本文的描述，你应该对数据理解所要做的工作，以及如何利用 Modeler 来帮助你完成相关工作有了一定的了解。本文所涉及的 Node 只是 Modeler 中可用于数据理解相关 Node 的一部分。另外在 Modeler 中，通过 Node 之间灵活多变的组合，可以完成更复杂的任务。这些就留给读者自己去探索吧。