大数据时代的质量观_数据分析师

2012年2月，美国《纽约时报》发表了一篇主题为“大数据时代”的文章，称大数据时代已经来临，数据分析大师们正在获得更多发展机遇。

大数据是全球新型工业化进程的必然产物，与计算机科学技术的发展息息相关。所谓大数据，一般是指规模巨大的数据集，这些数据由于存储量和结构规模庞大，无法用现有的软件系统和统计模型进行分析和处理，无法完成数据的撷取、分类、关联和趋势等方面的分析，更难以达到数据分析运用于经营和管理等方面的目的。从统计学的角度来看，大数据包含四个基本特点：一是数据的体量庞大，从TB级别跃升到PB级别；二是数据的种类繁多，甚至打破我们对于常规统计量的认识；三是价值密度较低而商业价值较高；四是数据处理的速度快。

大数据的出现对质量科学的影响非常巨大和深远，这里探讨的质量观，一般是指人们对于质量的基本看法和观点，可以看成是一种质量科学领域的世界观。大数据背景下的质量观关系到我们对于质量科学未来发展的基本方向的认同，也会引起我们对于当前质量科学技术的思考和改进。

首先，大数据是面向质量过程的总体数据，而不再局限于随机样本。质量科学的进步最为内在的动力就是数理统计方法，其中抽样技术是最核心的方法之一。随机抽样是当代质量管理技术最重要的手段和方法，也是六西格玛管理和质量改进的重要技术特征。对于一个完整的工业过程而言，我们几乎可以收集到全部的总体数据。而大数据无法使用常规的统计软件和工具完成计算和分析，因此即便是收集到的全部统计数据，我们也几乎无法完成预定的质量管理和数据分析任务，需要借助专门的海量数据挖掘和云计算技术。这就出现了一个矛盾，即面向总体质量统计的大数据资源理论上可以满足一切质量管理的需要，但质量管理实践中却无法实现常规的统计分析和监控，因为数据量过于庞大。这个矛盾的解决方案存在很多争议，一个基本的共识就是允许一定误差的抽样方法仍然是未来一段时期内最有效率和最为公平的质量管理方法。

其次，大数据倾向于混杂计算的标准，而不是像以前一样精确。精确建模和计算是统计时代的产物，也是演绎逻辑的顶峰。在数据相对匮乏的年代，我们总是要求一切统计数据都要精确。但在大数据时代的数据，混杂而不精确性未必是缺点，而可能是一个亮点。接收数据的混杂性，必须承认一些基本的事实和想法。一是当数据量以几何级数增加的时候，降低数据容差可以获得更多的数据信息；二是要想获得大规模数据带来的好处，混杂应该是一种标准途径而不是竭力避免的；三是要认识到大数据的简单算法比小数据的复杂算法更有效。

最后，大数据分析更关注相关关系，而不是因果关系。传统的质量管理方法尤其注重因果逻辑，总是希望通过实验设计或者统计模型来描述事物之间的关系，而且这种关系是有因果逻辑支持的，很多质量改进技术都是在因果问题上做文章，用精确的数据模拟真实的质量生产过程，从而得到精确的结论。但大数据分析的主流研究成果相对更加注重“效果逻辑”，只强调数据之间存在的相关关系，而不管这种关系在实践中如何产生。