大数据发展遇瓶颈 应用创新是王道

2016年5月12日-14日，第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴，在为期三天的会议中，大会将围绕MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨，并邀请一大批国内顶尖的技术专家来进行分享，以满足广大从业人士和行业用户的迫切需要。

本届是大会创办以来，规模最大，参会人次、参展合作伙伴最多的一次盛会，云集了来自五湖四海的5000余名IT精英，相聚在这里，共话数据库技术发展潮流，共赴大数据浪潮之巅。在“大数据基础设施”专场，人大金仓大数据业务部总监白芸进行了题为《数据之道 笃行拓新》的主题演讲

作为数据库技术大会上为数不多的女嘉宾，而且又这么高颜值，那小编先818美女嘉宾简介吧——【毕业于中国人民大学信息学院，获得计算机及应用专业硕士学位。 毕业后进入北京人大金仓信息技术股份有限公司，参与金仓数据库产品的研发，曾任咨询服务部总监、产品中心总监，现任大数据业务部总监，负责大数据系列产品研发，以及大数据解决方案的咨询和实施服务。】

自主可控数据管理下的大数据业务

当前，“互联网+”、大数据、云计算成了各个传统行业追逐的焦点，在这些关键词的背后，无不体现着“网络强国”的宏观战略部署。随着大数据发展上升为国家战略，作为一个老牌国产数据库企业，人大金仓又是如何开展这项业务呢?白芸在数据库大会的演讲中介绍了人大金仓的大数据业务：

【解决方案】提供360度全景大数据解决方案，包括项目全流程支持—提供大数据规划、实施、运维全流程的技术支持;数据全生命周期管理—数据产生、获取、处理、存储、治理、分析、应用。

【核心产品】提供提供全栈大数据产品线，结合实际业务场景需求，形成最合适的大数据解决方案。全方位产品支撑：数据采集、存储管理、分析挖掘、数据利用。

产品包括——大数据平台KingbaseDP;数据资源管理平台KingbaseDRP;数据整合工具KingbaseDI;商业智能平台KingbaseSmartBI

【实施服务】依托专业服务实施团队，凭借多年数据领域经验，助理客户大数据应用顺利上线。

人大金仓大数据中心基础架构

先来看看传统数据仓库与大数据中心的差别，如下图：

接着是数据仓库向大数据中心的演进：集成大数据和数据仓库能力以增加数据资产价值，提高数据运营能力。低成本的高可靠硬件平台，采用x86平台可节省大量成本及后期维护费用;集成的数据采集平台提供对结构化、非结构化数据进行批量、实时的采集处理能力，并能提供无限制的扩展和高性能处理能力;优化海量数据存储于处理平台基于Hadoop技术的实现，优化的产品级海量数据存储于处理平台，实现对于各类大数据的低成本的存储和分析，具备无限制的扩展能力;增强的分析能力体系可在原来传统数据分析的基础上增加如文本、图像、视频等分析功能。

大数据中心基础架构图

在这里，小编只是截图了一个基础架构图示，具体的技术架构展示部分，可以到《DTCC2016数据库技术大会PPT文集》中查看或下载。

数据、技术、应用三层面分析大数据发展所遇瓶颈

在演讲结束后，小编对白芸进行了专访，在采访时问到目前国内政府大数据发展面临的诸多瓶颈，白芸从三个层面进行了分析。

“政府部门的数据来源于内部和外部。”从数据层面面临的困境看，政府内部数据其实远远不止局限各部门掌握的自身业务数据，还须清楚地认识到不同系统数据的内在关系，数据结构是否存有冗余，数据存储是否是“信息孤岛”。

此外，就外部数据而言，不同的政府部门在大数据建设过程中，究竟还需要哪些外部数据?外部数据通过什么方式获得?数据获取过程中需建立怎样的合理机制?在白芸看来，以上种种疑难都是政府大数据建设过程中考量的焦点。“比如，住建部门根据自身数据只能了解房屋的售出率，如需分析售房屋的空置率，或许就要参阅房屋的水表、电表信息，这就需要协调水务、电力等部门的数据。”

而在大数据的应用方面，白芸认为，现在很多应用场景并没能逃离以往的场景设计。“真正的大数据应用并不是仅仅根据现有数据绘制一份报表、一个曲线图，就能称之为大数据产品，这些依旧是一种传统的统计和数据分析。”

从数据到具体应用场景的实现过程，大数据技术的重要性自然不言而喻。而随着具体应用场景的细化和复杂度加深，数据操作方如何采集数据?如何对原始数据脱敏、加密?如何进行数据建模?白芸认为，这些挑战都需要在技术层面的不断加强。

总结

“目前，国内大数据行业在数据和技术方面发展程度与国外步伐相近，但与国外大数据应用方面还存在很大差距。”白芸在采访中说道。

随着国内信息化的进步以及系统替代人工进程加快，信息化将逐步解决业务加速和职能高效的问题。在此基础上，大数据应用也将呈现出从无到有、再到优化和增值的趋势。在这个过程中，应用方自然会探索自身业务产生的数据究竟有多少价值，还能创造多少价值。