大数据时代对传统数据仓库的五点思考

在文思海辉金融商业智能解决方案研讨会上文思海辉副总裁贾丕星表示，文思海辉的商业智能团队已经发展到452人的规模，并且随着国内银行商业智能领域发展，还在逐步完善解决方案和扩大团队。

　　贾丕星指出，现阶段银行商业体系是基石，把数据做有效的存储，以及好的管理，未来商业智能领域会发展的很好。未来三五年之内这仍然是文思海辉解决方案的核心。

　　“小数据和大数据在银行业里更多是互为补充而不是替代。小数据比较简单，有比较成熟的技术应对。大数据更多的是理念优先，其一个典型特征是价值密度较低，这也是大数据带来的思考。”

　　贾丕星认为，银行思考大数据更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行。文思海辉在大数据领域仍然保持和合作伙伴厂商紧密接触。像IBM、BMC、Oracle每一家对大数据的理解其实是有差异的，而且差异非常大。

　　贾丕星指出了大数据时代针对传统数据仓库的思考，其中包括不要因为大数据扰乱我们的原则、规划、节奏;技术和平台已经不是我们关注的重点;原则和架构在“以不变应万变”中显得尤为重要;正确的方法论、管控的水平决定了质量;引导客户主动的“分析探索”是永恒的话题;

　　以下为演讲实录：

　　大家知道文思和海辉是去年年底合并的，从集团研发对我们支持角度来说：第一点祥麟给了我们一个很好的技术规划体系。第二个是智慧金融这个概念，把所有金融事业群解决方案有效整合在一起。形成应对未来银行业务发展很好的体系。从这两个角度来说，给了整个商业智能部这边很大的支持。

　　今天我讲的是数据仓库的概念。我们这个团队跟大家认识都是从数据仓库这个角度跟大家相识的。我们这个团队一直被认为是业内做商业智能做的比较久，相对来说比较专业的团队。每年我基本都讲第一场，对我来说也是一个很大的挑战。每年都想讲一点我这一年多的新的体会和感受跟大家分享。今天讲什么呢？前段时间我在外面讲的更多的是从小数据角度看大数据，大数据现在提的越来越多，小数据从另外一个角度理解它，它种类比较单一但是业务种类并不单一;第二它量比较小，大数据量可以很大。

　　大数据的年代里，真正的数据仓库应该如何规划建设？我们今年也有自己更多的思考和体会。讲这个之前，我还是把团队的情况给大家做一个简单回顾。在各位新老客户支持下，我们商业智能团队从去年300多人，现在已经发展到452人的规模。我们跟随着国内银行商业智能领域发展，在逐步完善我们的解决方案和扩大我们的团队。我们团队主要分布在华东、华北、华南三个区域。跟随着客户在成长，我们有越来越多的新的解决方案和原有解决方案的优化在不断的推出。

　　我们传统的优势就是数据仓库和数据管控，这两个方面会放在今天上午跟大家分享。现阶段银行商业智能体系的基石，还是把数据做有效的存储和更好的管理，这个领域未来三五年之内这仍然是我们解决方案的核心。

　　团队为什么会有所成长？跟我们自己承接了更多的项目有关。在过去两年，所有业内资产排名前20位银行里，新启动五个数据仓库都是由我们团队承接的。正是有这样好的项目机会让你的团队有成长，解决方案不断的优化。

　　我今天既看到了特别支持我们的长期的老客户，也看到我们未来有合作机会的新客户。这是我们近期拿下来的国内一个大型股份制银行的数据架构规划和数据仓库规划咨询项目。这个项目有很大的挑战，客户需要对他们管理信息类的系统进行全面的梳理，我们也对过去5年我们的积累进行总结，这是很好的结合。数据仓库只靠一个EDW发挥不了太多的作用，更多的是规划的角度，围绕从数据的产生、交换、存储、使用，由数据转成业务价值的全过程。这个是我们更愿意看到的东西。我们不希望大家理解的BI仅仅是一个平台，存储了企业里面有效、无效所有的信息，这个没意思。有意思是的通过价值体系的打造让它更好的发挥价值。

　　说到这点，结合今天题目去谈，就是小数据和大数据的概念。我从不觉得大数据是新的有震撼力的东西，但是它确实给我们带来了转变。我个人理解它们两个没有什么所谓替代形成，特别是银行业里面，更多的是互为补充。

　　从另外一个角度来讲，小数据比较简单，有比较成熟的技术应对它。大数据是多种类型数据的组成，需要使用多种技术对待它。比如说图像、视频、文档。每一个识别和监测它的手段和方法是不一样的。另外大数据更多的是理念优先，它在银行里到底能发挥什么价值？另外大数据我们会说它一个比较典型的特征，它的价值密度很低。那么反回来思考，把大量数据存下来再去做统计分析有意义和价值吗？还是通过实时处理的技术把没价值的东西筛掉，再利用有价值的做结构化的关联分析？这就是大数据给我们带来的思考。

　　银行思考大数据，更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行？银行获取大数据方式可能跟传统的物联网行业不太一样。银行对待大数据的时候更多的考虑是银行有什么类型的大数据？从银行统计应用角度来说有什么价值？我们是实施商，我们在大数据领域仍然保持跟我们的合作伙伴厂商的紧密接触。我们从去年和前年就开始跟我们合作紧密的像IBM、BMC、Oracle的大数据厂商进行紧密的沟通和跟进。我们看怎么更他们更好的结合去为银行提供更好的服务。但是我们发现每家厂商对大数据的解读其实是有差异的。 比如说EMC的HAWQ技术路线适合银行吗？因为我们知道HDFS底层数据存储和关系数据的底层数据有本质的区别。但是它有它的应用场景，比如互联网和电商类。Teradata的大数据技术路线中重点突出基于MR的Aster，它可能也只是适合一定的场景。所以让我们看到一个特点是百花齐放，大家各有各的发展思路。在原有的基础上在怎么更好的绑定客户，每家策略不一样。 但是银行一定要选择适合自己的。

　　银行大数据在典型应用场景分析有哪些呢，无非就是三种类型：外部互联网信息、舆情分析;是银行确实能够通过各种手段找到外部的一些信息，互联网的评价、社交媒体和论坛里面的发言，它关注到银行或者关注到了银行客户。这种信息是一种非严谨的获取方式，也是一种特别严谨的决策分析的补充。

　　银行自身非结构化数据信息：就是银行自身有大量非结构化信息体现在网银和呼叫中心的语音，这些信息是不是大规模的做分析？我建议的方式是尝试。因为传统结构化数据或者分析技术并没有让你在业务决策分析里面发挥到极至。我们一定要做更多的尝试，引导我们去体验大数据的场景。银行自身结构化数据历史归档和查询访问。这三个方面是我们跟银行探讨更多的，大数据在银行的应用场景。