大数据的来源、采集与使用

日前，中国大数据与经济预测论坛在北京召开。在经济预测领域运用大数据，如何利用大数据技术和方法，达到我们进行经济预测的目的，是非常值得思考的。所以，本次会议来自明略数据的金融大数据行业专家杨昀结合充分的企业实践和行业洞察，从微观层面，就大数据来源、采集与使用进行了“干货”分享。

以下为内容实录：

2011年麦肯锡企业竞争力和生产力报告显示，未来三分之二的金融业生产力增长来自数据系统。这个数字告诉我们，大数据在现代企业发展中，占据了非常重要的地位。所以，大数据在近几年能够得到企业的高度关注。

那么通常，数据处理的流程是什么样的呢？

其实，通用的数据处理工业流程已经存在几十年，不管是宏观预测还是企业大数据实践，都需要这个流程。数据处理的流程通常包括，数据的采集、分析、输出。通过这样的流程和一定的数据技术，可以帮助国家、企业做出更好的预测、决策以便采取更快的行动。

那么，为什么我们还要在大数据时代进行优化呢？因为大数据相对于传统数据处理，有非常大的变化，需要我们用更好的技术手段进行实现。

下面，我们根据明略数据丰富的企业实践，针对大数据时代的数据来源、采集、使用等各方面，谈一下自己的想法和大数据时代的现状，挑战和应对思路。

大数据来源

对于大数据的来源，没有非常明确的分类。我们经常接触到的分类比如有结构化、非结构化、半结构化的数据；互联网公开数据、企业内部数据，或者行业共享数据。

我们倾向于将数据分为物理世界的数据和人类社会的数据。物理世界的数据，是通过科学实验得到的数据，是直观的、可以量化的数据。而人类社会数据则是具有多样性、时效性等特点，也是我们大数据时代主要的数据源。但这样的数据有很多噪声，比如在互联网上，当某一个热点事件发生的时候，会产生非常多并发数据，数据多而杂，会有很多噪音。按照如上分类之后，大数据并不是一个纯粹的技术，或纯数学维度的学科，我们还需要与社会学、人类学、心理学以及行业知识进行交叉，才能做好大数据的各方面技术。

数据的权利确认

在大数据的时代，对于企业和个人来说，数据是一种资源，是一种无形的资产。如何确定数据的权利，并且保护这些权利，是全世界共同面临的问题。在美国，民众对于数据使用和隐私权的保护采用比较容忍的态度，但是欧洲民众则更注重隐私权。中国还处在制度讨论的前期，没有明确的规定。这也是我们中国大数据行业需要思考的问题。

大数据价值取向

在大数据时代，数据都是以TB，PB甚至更高的数量级存在的，但数据是不是越多越好呢？当然，如果数据价值高，答案是肯定的。但是如果数据本身噪声大，那么在做经济预测、企业决策时，并不是数据越多越好。我们需要选择数据价值密度高的数据来源，才能有最终价值。

大数据采集

大数据采集，主要会分为获取和清理两部分。数据获取的途径非常多样，主要有公开数据和内部数据，像是企业生产数据、互联网数据、第三方生态系统数据等等。但是，在获取这些数据后，大多数据都存在冗余、噪声等问题，这都需要我们通过数据清洗才能去除数据中的冗余、噪声，提高数据质量。

在大数据采集中，我们依旧面临很多问题。

数据壁垒问题

数据作为核心竞争力，国家和企业都倾向于保护自己的数据，而不会无偿公开数据。企业内部也有数据边界，跨部门之间的数据，也存在不容易交换的问题。这就形成了数据壁垒。虽然在业内现在已经有了一些平台，国内也有一些大数据交易所成立，但是制度不是很完善。“数据贸易保护”当中，每家企业都想获得别人的数据，但是都想减少对外共享的数据。

数据精炼问题

如同上文所说，我们在采集数据时，会存在大量的数据冗余和噪声。所以，在使用这些数据前，会需要大量的人力、物力和时间成本去对数据进行精炼和处理，以提高其价值。

大数据使用

大数据的使用，本身是一个非常完整的体系。我们认为，主要有发现和发掘两个部分。“发现”，主要是数据之间的显性关系，通过传统的统计分析可以得到结果。但在数据量大、种类多、关联关系复杂的大数据时代，我们除了传统的“发现”数据，还需要在大量的数据中，“发掘”数据之间的隐性关联，从而达到挖掘数据背后的价值，帮助经济预测和企业决策。

大数据时代，我们如何使用数据呢？

大数据时代的应用场景和以前有着非常大的变化，以前我们只关注样本数据，现在可以处理全量数据，并利用模型把以前不能关联的数据关联起来，并应用到更多场景中。

同时，在大数据应用中，我们也会考虑因果和相关关系的取舍问题。传统的数据统计，都是对样本进行研究，并发掘因果关系。但是在大数据时代，我们会更多地关注相关关系而不是因果关系。那么在经济预测中，我们还需要考虑，是不是对于宏观经济预测，经过大数据计算得到相关结果，就可以确定结论，不需要背后的因果逻辑。现今，在企业的角度，我们通常关注相关性能够带来效益，并使用它。

关于大数据行业未来的发展，明略数据也有自己的建议：

建立制度

首先，我们希望国家从法制的层面明确制度建设，只有明确大数据相关的制度，才能在大数据市场建立许可和信任，明确数据资产，并获得更阳光的市场，保证数据合法权益不受侵犯。拥有阳光的市场，我们可以通过更清晰的角度评估数据来源和成本。

数据开放

在国家和企业层面能够更大程度开放大数据，破除壁垒，这样才能让使用者获得各种数据源间的关联关系。并提供更多的大数据运用场景，从多方面挖掘数据的实用价值。同时进行标准化建设。因为数据清洗本身需要耗费非常多的人力、物力，如果能从国家层面建立个人、企业的数据标准，会让整个大数据行业降低成本、更好发挥数据价值。

尝试

大数据技术现在还处于发展阶段，所以，我们也需要利用大数据的技术多去尝试，去发现更多大数据的思维和方法。通过全量数据，发掘关联关系。并且容忍试错，只有通过不断的迭代和试错，大数据行业才能更加健康的发展，为国家宏观经济、企业微观决策作出更多贡献。

明略数据作为一家注重关联关系挖掘的大数据解决方案公司，也有丰富的大数据实践案例。在金融行业，明略数据也希望通过大数据驱动实现营销精准化，风控全面化和交互社会化，并能够帮助企业真正做到用大数据进行“生产”。