聊聊大数据时代面临的接入、存储和处理三大问题

传统的数据治理在大数据时代面临着大量数据的接入、大量数据的存储和快速灵活处理的三方面问题，这一期我们来聊聊如何正确的思考和解决这三个问题。

大量数据接入

大量数据的接入问题主要体现在两方面，第一方面是大数据的多样性造成原有单一通道的不适用性。大数据的多样性表明我们在接入数据的时候必然会采用多样化的接入手段。这就需要我们针对数据的类型如结构化数据、半结构化数据、非结构数据，数据源的存储形式如关系数据库、文件、分布式数据库两方面特性进行综合考虑，形成一个二维接入方式表。当然实际情况要更加复杂，在这里我们只是提出其中的一种解决问题的思路。

另一方面是大数据的高速性造就了数据通道的拥堵。针对大数据高速性的特点，流处理的技术发挥了重要作用。我们可以依赖消息队列集群加上流处理的技术进行解决，例如现在广泛采用的 kafka+spark streaming 的解决方案。数据通过消息的不同通道和订阅发布机制，建立了不同的数据传输通道，并且通过分布式机制和缓存机制解决了大量数据接入的性能问题。新智数工提供的采集助手就是要让不懂技术的人员也能接入各种类型的数据。

大量数据存储

关于数据存储的问题，第一个是大量数据造成了原有的存储空间不足的现象；第二个是数据的多样性造成了数据存储方式单一的现象；第三个最重要的现象是前面两个问题造成了数据存储要不断面临调整的问题。我认为要解决好如上问题需要从两个方面进行解决。一方面是数据的存储问题。数据的存储是为了更好的数据应用，应该提供给最终用户可以随时调整数据存储和定义的一组业务功能。我们现在很多用户只是知道自己大概有哪些数据，大概是什么情况。其实我们应该提供一个能让用户掌握数据资产的数据台帐，通过它能够实时了解数据的总量情况、变化情况、存储情况、加工情况，从而满足一系列的数据应用场景。另一方面是底层技术要做好保障，应按数据类型、使用类型建立好分布式存储的解决方案。包括块存储、文件存储、对象存储等。但这种技术形式应该对业务用户透明，用户只需要进行业务定义，不需要关心技术细节。新智数工的大数据池产品正是为了解决此问题而产生的。

快速灵活处理

快速灵活处理其实是体现大数据的第4个v价值的问题，因为数据食材被加工成不同的形状是为了菜品的要求，也就是数据加工处理的目的是为了数据应用。而传统的处理方式都是由专业数据加工者将数据进行预处理，当数据多样性体现后，这种方法就不能真正满足一线人员的实际需求了。这也是为什么以前的BI系统在面对一个新的数据种类时，变更会异常复杂和繁琐的原因。而我们真正的一线厨师需要随时随地能够加工数据食材，根据自已的喜好和需求对食材进行加工制作，而不是再依靠任何 IT 公司。依托大数据技术我们应该给用户提供一组简单的、可自己随时加工处理数据的功能。例如我们原来的一张列表有10个字段，我们应该可以由这10个原有字段不断定义新的字段，也就是我们可以给数据食材切成片或块等多种形式。

大数据时代，数据的价值密度很低，这就更需要数据裂变，只有数据裂变，数据的价值才能不断被放大。