避免大数据分析的思维陷阱

大数据分析可以追溯到30年前， 那时在数据分析界， 人们认为数据分析的工具和算法已经可以深度分析出任何东西， 所欠缺的就是数据量。 数据分析师们的说法就是， 如果你能够让我测量一切数据， 追踪一切数据， 从微观的精确到分钟的销售， 精确到每个人的资源消耗，到宏观的变量如利率的变化等， 我就能够告诉你想知道的一切， 这些变量之间的相关性， 它们的变化趋势等等一切的一切。

这种说法一直是主流数据分析界的看法。 到了今天， 数据量已经不成问题了。 互联网的几乎能够找到你需要的任何数据。 想要知道宾夕法尼亚州的工业清洗设备的销售与该州的钢铁厂的设备使用的关系? 没问题， 想要提高用户满意度? 可以把用户投诉数据采用聚类算法进行聚类。 你动动鼠标， 很多数据就能够找到了。

大数据的“罗生门”

好了， 现在的问题， 已经不是数据不够的问题了。 分析师不能再说“我的分析方法没问题， 只要有足够的数据。 ”如今， 数据的丰富程度已经足以满足任何分析方法的需要。 相反， 分析师需要考虑的是“什么样的分析方法最合适”以及“这些数据到底能告诉我们什么”。

这很自然地带来了另一个问题， 这个问题可能是大数据带来的真正问题。 那就是：现有的数据， 多的可以让你想要分析出什么结果， 就能分析出什么结果。

有一句话叫做：“这个世界上有两种谎言， 第一种叫谎言， 第二种叫统计”。 我们的大脑有一种无与伦比的能力， 那就是发现规律的能力(即便是其实没有规律)。

达顿商学院的教授曾经在班上做过这样一个实验：他找了两个学生， 其中一个学生， 用随机数生成器 生成一个数列， 数列里的每个数， 都是1 到10 之间的一个随机整数。 另一个学生， 则写同样长度的一个数列， 数列中的每个数， 这个学生可以随机地写从1到10 之间的一个整数。 教授让第三个学生， 把这两个学生生成的数列给他看。 他几乎每次都能正确地判断出那个数列是真的随机数列， 哪个数列是人工写的。 那些看上去有规律， 或者常有连续重复数字的， 是随机数列。 而人工写成的数列， 则尽量避免出现规律性或者重复性。 为什么呢? 因为我们总潜意识里， 会认为有规律性或者重复性的东西， 一定有它的原因， 就不可能是随机的。 因此， 当我们看到任何有点规律的模式时， 我们就会认为一定有一些非随机的因素。

这种潜意识其实来自于我们在自然界的生存本能。 当你看到草丛晃动的时候， 你宁可认为是有一只老虎在那边， 也比认为是“随机的” 风吹的， 而最后跳出一只老虎来强。

用“小实验”来验证“大数据”

如何才能避免掉入这样的认知陷阱呢? 可以采用达顿商学院教授Jeanne Liedtka所提倡的“小规模实验”的方式。 “小规模实验”与“大数据挖掘”的区别在于， “小规模实验”是特别设计来验证那些凭借分析工具(或者在分析工具帮助下的想象力)所“发现”的规律的正确性。 设计小规模试验的关键， 就是用实例去验证你发现的规律。 如果验证结果是正确的话， 那么规律或模式的可信度就提高了。

为什么要“小规模”呢?因为， 在海量数据加上分析工具， 可以让我们去发现无数的规律和模式， 而对每个规律或模式去验证会投入资源(时间以及金钱)。 通过把实验数据量的规模减小， 我们就可以更快更有效地验证更多的可能性。 这样也就能够加快企业的创新过程。

如何进行“小规模实验”， 要根据具体情况看。 一般来说， 实验会采用大数据分析所用的数据集。 从中取出一部分子集进行分析， 发现的规律， 通过另一部分数据子集进行验证， 如果规律在验证数据子集中也存在的话， 再利用大数据数据集采集的方式采集新的数据， 进一步进行验证。

保险公司Progressive Insurance以及信用卡公司Capital One是两个利用数据分析成功取得竞争优势的公司。 在他们的实践中， 他们就很好地采用了这样的“大数据, 小实验”的方式， 他们意识到我们天生的那种发现“并不存在的”规律的能力的危险性， 因此，他们利用小规模试验的方式， 从而使得他们能够快速有效地进行数据挖掘。

海量数据加上分析工具， 使得数据分析现在是一个很热的话题。 很多企业认为数据分析师能够“点石成金”。 但是，常言道: “人们看到的是他们想要看到的东西。” 今天， 我们有了海量数据和能“发现任何规律”的分析工具后， 还是不能忘记那个最古老的办法——用小规模的实验去验证。 否则的话， 几百万上千万美元的大数据投资， 可能发现的只是我们想象出来的“规律”。