
大数据时代对传统数据仓库的五点思考
在文思海辉金融商业智能解决方案研讨会上文思海辉副总裁贾丕星表示,文思海辉的商业智能团队已经发展到452人的规模,并且随着国内银行商业智能领域发展,还在逐步完善解决方案和扩大团队。
贾丕星指出,现阶段银行商业体系是基石,把数据做有效的存储,以及好的管理,未来商业智能领域会发展的很好。未来三五年之内这仍然是文思海辉解决方案的核心。
“小数据和大数据在银行业里更多是互为补充而不是替代。小数据比较简单,有比较成熟的技术应对。大数据更多的是理念优先,其一个典型特征是价值密度较低,这也是大数据带来的思考。”
贾丕星认为,银行思考大数据更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行。文思海辉在大数据领域仍然保持和合作伙伴厂商紧密接触。像IBM、BMC、Oracle每一家对大数据的理解其实是有差异的,而且差异非常大。
贾丕星指出了大数据时代针对传统数据仓库的思考,其中包括不要因为大数据扰乱我们的原则、规划、节奏;技术和平台已经不是我们关注的重点;原则和架构在“以不变应万变”中显得尤为重要;正确的方法论、管控的水平决定了质量;引导客户主动的“分析探索”是永恒的话题;
以下为演讲实录:
大家知道文思和海辉是去年年底合并的,从集团研发对我们支持角度来说:第一点祥麟给了我们一个很好的技术规划体系。第二个是智慧金融这个概念,把所有金融事业群解决方案有效整合在一起。形成应对未来银行业务发展很好的体系。从这两个角度来说,给了整个商业智能部这边很大的支持。
今天我讲的是数据仓库的概念。我们这个团队跟大家认识都是从数据仓库这个角度跟大家相识的。我们这个团队一直被认为是业内做商业智能做的比较久,相对来说比较专业的团队。每年我基本都讲第一场,对我来说也是一个很大的挑战。每年都想讲一点我这一年多的新的体会和感受跟大家分享。今天讲什么呢?前段时间我在外面讲的更多的是从小数据角度看大数据,大数据现在提的越来越多,小数据从另外一个角度理解它,它种类比较单一但是业务种类并不单一;第二它量比较小,大数据量可以很大。
大数据的年代里,真正的数据仓库应该如何规划建设?我们今年也有自己更多的思考和体会。讲这个之前,我还是把团队的情况给大家做一个简单回顾。在各位新老客户支持下,我们商业智能团队从去年300多人,现在已经发展到452人的规模。我们跟随着国内银行商业智能领域发展,在逐步完善我们的解决方案和扩大我们的团队。我们团队主要分布在华东、华北、华南三个区域。跟随着客户在成长,我们有越来越多的新的解决方案和原有解决方案的优化在不断的推出。
我们传统的优势就是数据仓库和数据管控,这两个方面会放在今天上午跟大家分享。现阶段银行商业智能体系的基石,还是把数据做有效的存储和更好的管理,这个领域未来三五年之内这仍然是我们解决方案的核心。
团队为什么会有所成长?跟我们自己承接了更多的项目有关。在过去两年,所有业内资产排名前20位银行里,新启动五个数据仓库都是由我们团队承接的。正是有这样好的项目机会让你的团队有成长,解决方案不断的优化。
我今天既看到了特别支持我们的长期的老客户,也看到我们未来有合作机会的新客户。这是我们近期拿下来的国内一个大型股份制银行的数据架构规划和数据仓库规划咨询项目。这个项目有很大的挑战,客户需要对他们管理信息类的系统进行全面的梳理,我们也对过去5年我们的积累进行总结,这是很好的结合。数据仓库只靠一个EDW发挥不了太多的作用,更多的是规划的角度,围绕从数据的产生、交换、存储、使用,由数据转成业务价值的全过程。这个是我们更愿意看到的东西。我们不希望大家理解的BI仅仅是一个平台,存储了企业里面有效、无效所有的信息,这个没意思。有意思是的通过价值体系的打造让它更好的发挥价值。
说到这点,结合今天题目去谈,就是小数据和大数据的概念。我从不觉得大数据是新的有震撼力的东西,但是它确实给我们带来了转变。我个人理解它们两个没有什么所谓替代形成,特别是银行业里面,更多的是互为补充。
从另外一个角度来讲,小数据比较简单,有比较成熟的技术应对它。大数据是多种类型数据的组成,需要使用多种技术对待它。比如说图像、视频、文档。每一个识别和监测它的手段和方法是不一样的。另外大数据更多的是理念优先,它在银行里到底能发挥什么价值?另外大数据我们会说它一个比较典型的特征,它的价值密度很低。那么反回来思考,把大量数据存下来再去做统计分析有意义和价值吗?还是通过实时处理的技术把没价值的东西筛掉,再利用有价值的做结构化的关联分析?这就是大数据给我们带来的思考。
银行思考大数据,更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行?银行获取大数据方式可能跟传统的物联网行业不太一样。银行对待大数据的时候更多的考虑是银行有什么类型的大数据?从银行统计应用角度来说有什么价值?我们是实施商,我们在大数据领域仍然保持跟我们的合作伙伴厂商的紧密接触。我们从去年和前年就开始跟我们合作紧密的像IBM、BMC、Oracle的大数据厂商进行紧密的沟通和跟进。我们看怎么更他们更好的结合去为银行提供更好的服务。但是我们发现每家厂商对大数据的解读其实是有差异的。 比如说EMC的HAWQ技术路线适合银行吗?因为我们知道HDFS底层数据存储和关系数据的底层数据有本质的区别。但是它有它的应用场景,比如互联网和电商类。Teradata的大数据技术路线中重点突出基于MR的Aster,它可能也只是适合一定的场景。所以让我们看到一个特点是百花齐放,大家各有各的发展思路。在原有的基础上在怎么更好的绑定客户,每家策略不一样。 但是银行一定要选择适合自己的。
银行大数据在典型应用场景分析有哪些呢,无非就是三种类型:外部互联网信息、舆情分析;是银行确实能够通过各种手段找到外部的一些信息,互联网的评价、社交媒体和论坛里面的发言,它关注到银行或者关注到了银行客户。这种信息是一种非严谨的获取方式,也是一种特别严谨的决策分析的补充。
银行自身非结构化数据信息:就是银行自身有大量非结构化信息体现在网银和呼叫中心的语音,这些信息是不是大规模的做分析?我建议的方式是尝试。因为传统结构化数据或者分析技术并没有让你在业务决策分析里面发挥到极至。我们一定要做更多的尝试,引导我们去体验大数据的场景。银行自身结构化数据历史归档和查询访问。这三个方面是我们跟银行探讨更多的,大数据在银行的应用场景。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
2025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-06-052025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-05-27CDA数据分析师证书考试体系(更新于2025年05月22日)
2025-05-26解码数据基因:从数字敏感度到逻辑思维 每当看到超市货架上商品的排列变化,你是否会联想到背后的销售数据波动?三年前在零售行 ...
2025-05-23在本文中,我们将探讨 AI 为何能够加速数据分析、如何在每个步骤中实现数据分析自动化以及使用哪些工具。 数据分析中的AI是什么 ...
2025-05-20当数据遇见人生:我的第一个分析项目 记得三年前接手第一个数据分析项目时,我面对Excel里密密麻麻的销售数据手足无措。那些跳动 ...
2025-05-20在数字化运营的时代,企业每天都在产生海量数据:用户点击行为、商品销售记录、广告投放反馈…… 这些数据就像散落的拼图,而相 ...
2025-05-19在当今数字化营销时代,小红书作为国内领先的社交电商平台,其销售数据蕴含着巨大的商业价值。通过对小红书销售数据的深入分析, ...
2025-05-16Excel作为最常用的数据分析工具,有没有什么工具可以帮助我们快速地使用excel表格,只要轻松几步甚至输入几项指令就能搞定呢? ...
2025-05-15数据,如同无形的燃料,驱动着现代社会的运转。从全球互联网用户每天产生的2.5亿TB数据,到制造业的传感器、金融交易 ...
2025-05-15大数据是什么_数据分析师培训 其实,现在的大数据指的并不仅仅是海量数据,更准确而言是对大数据分析的方法。传统的数 ...
2025-05-14CDA持证人简介: 万木,CDA L1持证人,某电商中厂BI工程师 ,5年数据经验1年BI内训师,高级数据分析师,拥有丰富的行业经验。 ...
2025-05-13CDA持证人简介: 王明月 ,CDA 数据分析师二级持证人,2年数据产品工作经验,管理学博士在读。 学习入口:https://edu.cda.cn/g ...
2025-05-12CDA持证人简介: 杨贞玺 ,CDA一级持证人,郑州大学情报学硕士研究生,某上市公司数据分析师。 学习入口:https://edu.cda.cn/g ...
2025-05-09CDA持证人简介 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度、美团、阿里等 ...
2025-05-07相信很多做数据分析的小伙伴,都接到过一些高阶的数据分析需求,实现的过程需要用到一些数据获取,数据清洗转换,建模方法等,这 ...
2025-05-06以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/g ...
2025-04-30CDA持证人简介: 邱立峰 CDA 数据分析师二级持证人,数字化转型专家,数据治理专家,高级数据分析师,拥有丰富的行业经验。 ...
2025-04-29CDA持证人简介: 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度,美团,阿里等 ...
2025-04-28CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-27