大数据时代 | 数据分析方法及理论详解

1 数据分析前，我们需要思考

像一场战役的总指挥影响着整个战役的胜败一样，数据分析师的思想对于整体分析思路，甚至分析结果都有着关键性的作用。

2 分析问题和解决问题的思路

定义问题(重要步骤之一)：

1)首先，要搞清楚问题的实质，准确、完整、真实地表达问题。

2)其次，弄清楚为什么要解决这个问题?

3)最后，解决这个问题的意义何在?是必须解决还是无关紧要，或是需要马上解决这个问题还是不太着急。

收集整理信息：

搜集、整理关于要解决问题的历史资料、类似情况和现状。例如，从现有的报表数据中就能看到当前问题点的数据情况或者一段时间的趋势;

选取分析方法：

1)分析涉及到的主要维度，为后面提取数据需求做准备;

2)选取的分析软件以及分析方法(统计学相关方法);

数据提取整理(重要步骤之二)：

1)根据分析内容以及分析方法，提出分析所需的数据需求;

2)对于反馈回来的数据，需要进行部分加工，以便更能反映所要分析的问题;

分析结果及结论：

1)根据分析的结果，得出一些当前问题产生的一些结论。这里注意分析的方法以及维度，结果的展示方式等。

2)结论需要足够的数据作支撑;

实施及建议措施：

1)针对数据分析结论，给出当前问题的解决建议措施;

2)一方面从业务层面进行建议措施。另一方面，可以就问题点进行更深层次分析，给出数据挖掘层面的解决措施;

实施效果评估及报告整理：

1)根据措施实施效果进行评估，将完成的分析过程、结果以及评估整理报告，为以后出现问题提供经验教训;

2)对于本次没有完全解决的问题，进行说明。

3 精确地陈述问题

5W2H法：

5W：What、When、Where、Who、Why;

2H:How many、How much;

Where——哪里存在问题?

What——存在的问题是什么?

Why——原因在哪里?

When——什么时候开始出现这样的问题?

Who——与什么对象有关?

How many——发生的次数和数量?

How much——损失有多大?

4 问题展示方式

问题结构是由现状、直接原因以及最终原因构成的。针对直接原因进行的叫初步问题分析、针对最终原因进行分析的叫深层及问题分析。

5 分析方法

统计方法的三大特性，用三句话来简单概括：

1)实用性：除了实情，数据能证明一切;

2)丰富性：统计揭露出的部分固然明晰，没揭露出来的或许更重要;

3)公平性：每个人都应当用数据说话。

“五点法”：最小值、1/4分位数、均值、3/4分位数、最大值;

“两度”：峰度、偏度

六西格玛：

按挖掘方法分类：包括统计方法、机器学习方法、神经网络方法和数据库方法。

其中：

1)统计方法可分为：判别分析(贝叶斯判别、费谢尔判别、非参数判别等)，聚类分析(系统聚类、动态聚类等)，探索性分析(主成分分析等)等。

2)机器学习方法可分为：归纳学习方法(决策树、规则归纳等)，基于范例学习，遗传算法等。

3)神经网络方法可分为：前向神经网络(BP算法等)，自组织神经网络(自组织特征映射、竞争学习等)。

4)数据库方法分为：多维数据分析和OLAP技术，此外还有面向属性的归纳方法。

关联规则：关联规则反映一个事物与其他事物之间的相互依存性和关联性，如果两个事物或者多个事物之间存在一定的关联关系，那么其中一个事物就能够通过其他事物预测到。

9 选取分析所需的相关数据

在现实社会中，存在着大量的“脏数据”：

不完整性(数据结构的设计人员、数据采集设备和数据录入人员)：

1)缺少感兴趣的属性

2)感兴趣的属性缺少部分属性值

3)仅仅包含聚合数据，没有详细数据

噪音数据(采集数据的设备、数据录入人员、数据传输)：

1)数据中包含错误的信息

2)存在着部分偏离期望值的孤立点

不一致性(数据结构的设计人员、数据录入人员)：

1)数据结构的不一致性

2)Label的不一致性

3)数据值的不一致性

数据类型冲突：

1)性别：string(Male、Female)、Char(M、F)、Integer(0、1)

2)日期：Date、DateTime、Sting

数据标签冲突：解决同名异义、异名同义：

学生成绩、分数

度量单位冲突：

1)学生成绩

a.百分制：100~0

b.五分制：A、B、C、D、E

c.字符表示：优、良、及格、不及格

概念不清：

最近交易额：前一个小时、昨天、本周、本月

聚焦冲突：根源在于表结构的设计

11 数据的清洗处理

主要任务：

补充缺失数据

识别孤立点

处理不一致的数据

处理方法：

分箱(Binning)的方法：

聚类方法：检测并消除异常点

线性回归：对不符合回归的数据进行平滑处理

人机结合共同检测：由计算机检测可疑的点，然后由用户确认

12 怎样将分析的结果呈现出来

►指标分析与政策分析并重

►反映重点问题、实事求是

►材料、数据要真实，论据要有说服力

13 分析结果呈现基本原则

数据分析结果呈现准备工作：

确定表达的主题：

►使用图形的目的：

将思想和观点形象化地表达，加深读者或听众的印象

►使用图标时，必须明确通过图表要表达的信息是什么

确定对比关系：

►同一类别不同项目间的对比

►不同类别不同项目间的对比

14 如何用图来表示数据

15 常见的分析模式

内容决定形式、形式服务于内容，当形式经过时间考验被普遍接受后就固化成一种模式。

16 分析总结及建议措施

建议措施分类：业务层面;数据挖掘

17 实施效果评估及报告整理

1)营销活动效果反馈数据，分析对于问题的解决程度

2)业务模型优化提升