工业大数据的理论体系

大数据的课程我讲过多次。除了给专业人人士讲，我个人几乎都不满意。有个问题一直困惑着我：“工业大数据”到底该讲什么，才不至于以偏概全？或者说，理论体系应该包含哪些内容？ 下面是我想到的一点原则性的观点——可以从哪些视角看待它。

1、工业大数据的意义：从DIKW体系的角度看

我用DIKW体系的观点解释大数据的意义：将人类带入智能社会。大数据够把人类带入智能社会的核心优势在于“知识”的生产和应用。我们把智能理解为“感知、决策和执行”的统一，则大数据能很好地提供“感知”和“决策”所需要的知识。

2、大数据与业务系统的关系：概念。

很多人把数据和大数据混淆起来。一个典型的表现是把业务系统（如MES、ERP）的功能说成大数据的应用，似乎只要数据都是大数据。在我看来业务系统看数据，侧重数据用于完成特定业务的一次利用。数据作为信息的载体，数据的生命周期相对较短。

大数据则侧重数据的二次利用或重复利用，数据主要作为知识的载体。当然：大数据主要由业务系统（如ERP、MES）产生、积累，并最终服务于业务系统。

3、大数据的特征：甲乙方的视角

甲乙双方看待大数据的特征是不同的。

其中，甲方就是希望通过大数据创造价值、改进业务的业务人员，而乙方是帮助甲方实现目标的IT技术人员。

大数据的甲方视角：有三个特征（样本=全体等，后面详细展开），都与获取知识相关。而获取了知识才能创造价值。大数据的乙方视角即“4V特征”。这四个特征关注的是IT技术人员数据处理的困难。

显然，乙方的工作应该服从甲方的业务需求。从这个意义上讲，乙方可能遇到4V涉及的困难、也可能遇不到，视甲方的实际情况而定。我讲的课主要是甲方视角，而IT专业人士讲的课主要是乙方视角。

4、大数据与知识获取的可行性（甲方视角、大数据特征）

（从甲方看）大数据的价值在于产生知识。人们经常提到的大数据的几个特征（样本=全体、相关非因果、混杂性），都可以归结为便于获得知识。

l 样本=全体。解决知识的存在性问题。人类的一切知识都来源于历史；如果大数据能够完整地记录历史，就会蕴含知识。这一点强调的是样本分布的完整性。

l 不拘泥于因果。一般说法的是“相关关系而非因果关系”，而我将其改为“不拘泥于因果”。人类的知识有很多种，一种是说不出来的“默会知识”、一种是说的清楚的知识；而说得清楚的知识又包括理论知识和经验知识。其中，理论知识是讲究因果的；如果有把知识拘泥于因果则是不完备的。所以，“不拘泥于因果”解决了知识完的整性问题。

l 混杂性。本质是知识的可获得、可验证性，保证知识的质量。获得知识的一个本质要求是区分偶然联系和非偶然联系。混杂性可以用于解决这个问题。

换句话说，这三个特点保证了知识的存在性、完整性和可获得性。这就是大数据的意义所在。我们知道：智能制造需要知识才能形成闭环、互联网可以让知识的价值放大。所以，在智能制造、工业互联网的背景下，大数据的价值猛增。

5、知识类型的角度：多角度观察

我一直认为，大数据的价值在于获得、存储和运用知识的能力。而“知识”可以分类——可以从多个维度来看：

l 默会知识、经验知识、理论知识。

默会知识就是说不清楚、难以变成程序代码的感性知识。例如，从图像中人是一个人、下棋时对“势”的理解，都是感性知识。

感性知识之外的经验知识。这些知识说得清楚怎么做，不一定需要说明原因。如某种方法较好、哪条路走的快等——实际上好就是好了，不一定需要解释。

理论知识就是说得清楚原因、可以解释、甚至可计算的知识。

如前所述，大数据的优势在于可以更容易地获得默会和经验知识——这在过去是很难的。过去计算机用到的知识，往往需要人们写成代码——但这只是人们大脑中的一部分知识。单纯依靠理性知识，难以实现智能化。

l 正向知识（建模获得）、逆向知识（根因分析）。

从原因到结果的知识，我称其为正向知识。数学建模过程就是建立正向知识。从结果到原因的知识，我称为逆向知识。就是所谓的根因分析。

l 联系型知识、设计型知识。

因果知识、感性知识等体现的都是信息之间的联系。而设计型的知识指的是产品、工艺设计等。设计型知识占用的计算机存储量很大。在大数据时代，设计型知识容易存储、处理了。

6、大数据获得知识的途径：承载知识和提炼知识

用大数据获得知识有两种方式：一种就是数据本身就承载知识；一种是数据承载的是信息、需要从数据提炼出知识。

第一种典型的就是产品设计数据、各种标准、成功案例等。快速响应、个性化定制的前提和手段，就是这种知识的共享。

对于这些知识，有时候会面临的困难之一是如何找到它们。而找到这些知识本身就可能是需要获得的知识。典型的就是谷歌搜索。AI算法对解决这个问题可能是有用的。

第二种知识就是前面说的、通过建模或根因分析得到的知识。工业上对知识是有明确需求的、以至于难以达到；但机理却是相对明确的。我谈的很多方法论，其实就是在这两个方面的。下面还会提到。

7、通过大数据获得价值：转型升级才能创造蓝海

从某种意义上说，大数据创造价值就是促进知识创造价值。这些知识要用在提高质量、效率，降低成本等具体问题上，才能创造价值。

人们遇到的真正困惑，或许是如何找到这些“问题”。这些问题大概可以分成两类：一类是现有业务的痛点；第二类是转型升级以后面临新的要求。

对于业务痛点，往往是：“该做的都做了，剩下的往往是难以做的。”所以，难以找到合适的问题。对于这类困惑，大数据只是手段之一。往往要综合运用各种手段，大数据才能给创造价值。

对于第二类困惑，往往是业务本身或外部变化引发的。例如，采用了新的生产方式或技术手段、用户对质量要求提高了、数字化水平提高了、企业的业务重心转移了（创新和服务的比重增大了）等等。这些变化，我统称为“转型升级”。对于这类新的问题，大数据方法比较容易发挥作用。

数据分析曾经被认为是“没有办法的办法”。我把最近突然变热的原因，归结到智能制造相关技术引发的企业转型升级。这时，大数据技术进入了一个蓝海。大数据进入蓝海的原因，不仅是获得知识更方便等原因，更是知识的放大：把知识变成计算机可执行的代码、实现人机知识的共享，知识在互联网上实现共享，都会让知识的价值倍增。从而让“知识生产”的经济性大大提升。

总体上看，转型升级是战略问题，大数据应用是战术问题。战略重点的改变，才能给大数据的应用创造条件。否则，再好的技术都可能成为屠龙之技。

8、大数据建模分析的方法论：算法只是细节问题

谈到大数据分析与建模，很多人马上想到各种算法。在我看来，对数据分析与建模问题来说，算法问题其实是战术问题——也就是说，还需要有个战略问题，用来决定分析什么问题、分析问题的次序和路径等。CRISP_DM就是这个层面上的逻辑。我还想将其逻辑进一步简化：

1、明确业务需求；确定需求是真实的、一旦分析成功则具有可行性。

2、数据分析方法：解决问题的次序和切入点的问题。

3、分析问题的具体算法。如回归、决策树、深度学习等。

其中，前面两步做得好的话，后面的算法会比较简单。我总觉得，学术界把算法看得太重、过度重视算法技巧。技巧易于发论文，但不符合工程逻辑。

９、总结

人们关注工业大数据的终极目标是创造价值；方向是提升智能化；核心问题是知识的获取和应用。用好大数据的关键是搞清楚战略和战术的关系，也就是做什么事情、做事的次序和切入点等问题。单纯从分析方法或数据角度看问题，是看不清楚问题全貌的。