大白话讲解数据挖掘【案例】潜客模型的数据框架

本篇文章作为回答很多朋友问我的一个问题：到底数据挖掘是什么？有什么作用？

我把数据挖掘比喻成炒菜烧饭。下面用了一个潜客模型的框架作为案例进行讲解。

（潜客模型数据挖掘框架）

因为我在互联网公司，所以流量是整个流程图的开始。

第一步：数据准备（去菜场买食材，到家清洗食材）

第二步：做模型（将食材加工成各类食物，咸味、甜味、淡味）

第三步：数据CRM系统营销管理（把不同的食物分给不同的人吃）

第四步：做评估（反馈不同人群对菜的评价，反馈给厨师，厨师根据反馈再做改进）

可以看到数据挖掘非常类似厨师的工作。我们来细细得看一下每一步大概要考虑什么问题？如何去解决吧？

第一步：数据准备

问题：

1、怎么收集用户信息？ （去哪里买食材）

收集用户信息可以是非常多的形式，但我们不可能无限制得到用户信息，那是非常浪费资源并且也会让用户认为我们不友好。（就比如你在上海不会飞去北京买烤鸭吧？）所以使用哪些用户信息这个问题就非常关键。

2、应该使用哪些用户信息？ （买哪些食材）

通常我们会把所有的一些字段都罗列出来（附近菜场能买到的食材全部记录下来），然后用于模型软件和建模专家去评估哪些字段是有用的（去看哪些能做出菜品的），哪些字段可能对于模型没有任何作用。目前较为流行的就是用户的交互信息，因为这些信息最不易作假，来源也最方便。

第二步：做模型

问题：如何建模？（如何烧菜）

建模其实就是将你手中的信息量折合成你需要的信息。（把几个食材加工后变成红烧肉）。比如要预测这个用户是否要流失，你可以用最近用户的交易习惯是否有巨大的改变，这时我们做模型可能只需要几个关键变量（食材）。从原来的几百个关键变量到最后的几个关键变量，然后把他们组合起来这一个过程就是建模的过程。（选食材到做出美味的美食的过程）

做模型其实是一件非常耗费时间的事情，因为在没有专业化软件的时候，大家做模型就是靠业务经验及一遍遍的数据组合去完成的。而现在专业化的工具如R,SAS,SPSS等其实是提高了建模师的工作效率，让他们繁琐且重复化的工作由计算机完成。当然在你使用这些软件的同时，你必须了解每一种数学模型背后的原理，这样你才明白什么时候用什么模型。（数学模型就好像油盐酱醋，要知道什么时候用什么，最终才能做出美味）

做完模型后，有时你需要把你的模型解释给业务部门听，然后告诉他们如何使用你的模型，因为帮助解决问题才是模型的最终目标。

第三步：数据CRM系统营销管理

当我们把每个顾客的菜做好了，我们需要对不同的顾客满足不同的需求，这时就用到了CRM系统，如下图所示，可以根据模型进行营销，检测最后是否解决了业务问题。

CRM具有以下优势：

1、在营销之前你就可以预算营销成本。

2、针对不同用户使用不同的营销策略（常说的精确化营销）

3、易于检测营销和模型结果

第四步：结果反馈及模型优化

重要结果反馈KPI:（只例举部分）

正向反馈：1、用户再次访问客户端或网站的概率

2、用户上线下单购买产品概率

反向反馈：1、退订率（E-mail  APP）

2、投诉率

3、未响应度（未采取任何动作）

根据不同类型的人群进行的反馈结果再次检验模型(顾客的口味评价)，查看模型的准确度是否在可控范围内。很多模型随着时间推移都会变得不准确，需要调整一定的阀值。比如银行的风控模型，通常都会半年到1年调整一次（厨师根据顾客喜好调整口味）。其中的原因可能是经济条件增长原因，也可以能是银行政策原因导致。

总结项目关键点：

1、        收集用户的信息质量（业务及BI部门合作）

2、        算法优化处理（建模工程师）

3、        系统实施跟进（BI及IT开发部门合作）

这些因素决定模型应用的成败。

PS：数据挖掘有很多有意思的应用，典型的亚马逊推荐算法；啤酒与尿布；预测；语音识别的原理中也有概率数据挖掘的影子（推荐阅读《数学之美》）。