关于数据挖掘和数据分析

1、很多关于数据挖掘的帖子和文章都在强调工具、算法和架构等，但其实这些都不是数据挖掘的核心，数据挖掘的最重要的环节如下：

数据来源：通过无论是公开的数据还是合作方式、第三方的方式获得数据；

获取标签：对标的物无论是用户、商品、文章分析，以获取足够定义这些标的物的标签，并对标签进行指标化和定义权重，通过这些标签对；

定义特征：通过标的物的个体画像以及标的物间的关系定义个体和整体的特征；

评估模型：通过定义的特征定义并评估一系列数据模型；

应用模型：模型数据可视化、基于有效模型数据价值应用。

2、为什么把数据挖掘和数据分析放在一起说，是因为数据挖掘本身是一个数据应用化的过程，而应用化的过程某种意义上就是一个数据分析的过程，而这个数据分析可以是人为定义的、AI人工智能辅助的等等。

所以，我们可以暂且这样定数据挖掘和数据分析的关系：通过不断优化的数据分析方法，并利用数据挖掘才能够得出数据应用价值的最大化的结果。

数据挖掘是数据价值结果导向的过程集合，而数据应用价值到底有多大？者就是通过数据分析来评估的，其来自于数据分析的过程以及得出的结论。

3、数据挖掘并不局限。就狭义而言，它就是一个在海量数据中挖掘数据价值的过程；而就广义而言，只要是有数据来源的，并能够通过数据分析方法论得到一数据价值结果为导向的过程，都可以称作数据挖掘。

4、产品运营经常会涉及到数据分析，从某种意义上而言，也是一个以数据价值为结果导向的过程：

数据来源：产品运营过程中的产生和收集的一系列数据，如图：

获取标签：通过基本信息和一系列行为数据获取分析得到关键标签，并定义标签的权重和指标，以对基本用户、商品、文章等等标的物进行画像；

定义特征：通过标的物个体的统计数据和画像分析个体间关系的特征和整体性特征，比如电商类用户就可以根据性别和消费能力、消费周期等标签指标，定义其相应的特征；再比如对UV、PV等一系列数据进行整体性的特征判断，以判断产品本身目前的运营特征和情况；等等...

评估模型：通过提取的特征，定义一系列的可用模型，使得从数据来源到标签再到特征以及画像的数据通过模型更直观的展现出来；

应用模型：比如招聘网站按照不同职能区分的用户对于网站的使用情况，产品对于90后用户的运营情况等，以在某种程度上帮助改进产品和提升以及验证运营工作对于目前产品运营的有效性。

5、举个商业化应用的例子，比如EverString这个产品，去年年底刚刚融了B轮65m美刀。这是一家通过大数据技术提供B2B Marketing领域企业智能解决方案的公司，通过挖掘企业数据与结合企业CRM，并建立模型，再利用这些模型帮助企业来预测谁是他们下一个客户。以下是对于这家公司业务的分析：

数据来源：通过爬虫来抓取全网数据并结合企业CRM获取与企业相关的数据，EverString自称有1100万家企业的海量数据库；

获取标签：它们拥有丰富的公司标签，以及合理的指标与权重；

定义特征：与公司业务和规模相关的特征，更加个性化并增加精准性；

评估模型：定义无论是公司层面的营销运营模型，还是基于公司业务本身的数据模型，以关注数据应用价值和更加符合业务应用价值效果的数据模型；

应用模型：将模型应用在整体的业务流程当中，比如通过对历史大量积累的数据进行分析和建模，从而对未来事件的决策的预测。

6、关于数据分析，并不可以简单理解为对于对于数据进行定量、定性的分析和得出一个可用的数据结果的过程集合，这也是我为什么把数据挖掘和数据分析放在一起说的原因。数据分析一定是伴随着数据从采集到定义，再到应用，最后通过分析数据应用的价值，并不断自我过程优化。

从某种意义上而言，数据分析会用到的很多工具。我们会发现无论是用GA、百度统计、友盟等等，它们同样在做着：从采集数据、获取标签（机型、地理位置、用户画像等）、定义特征（转换率、客单价等）和模型（漏斗模型等）到应用模型（可视化图表等）。这个过程同样可以理解为一个数据分析方法结合数据挖掘的过程，即对可获取的数据进行价值挖掘和应用的过程。