京公网安备 11010802034615号
经营许可证编号:京B2-20210330
谈谈银行业的数据治理
数据价值链螺旋受阻
在我们对数据利用提出迫切需求的过程中,许多深层次的数据问题其实已经开始逐步暴露,例如,数据认责不明导致数据源头录入质量不高,数据标准缺失导致统计口径混乱,整体数据质量缺乏有效的监控和管理等等。
数据已经成为企业的资产,但是很遗憾的是它本身并不能直接产生价值,这也是大数据这么火但是很少有企业能够充分发挥数据的价值的原因。要明白如何让数据成为生产力,我们必须理解数据、信息、知识和智慧之间的关系。
数据:它是一种将客观事物按照某种测度感知而获取到的原始记录,未被加工解释,不能回答特定问题,它与其他数据之间也没有建立相互联系,是分散和孤立的。信息:对数据进行加工处理之后,是数据之间建立相互的联系,形成回答某个特定问题的文本,以及被解释具有某些意义的数字、事实、图像等形式的信息。知识:是知识工作者运用大脑对获取的信息进行系统化训练和提炼、研究、总结和分析之后的结果,知识能够精确的反映事物的本质。智慧:在已有的知识的基础之上,对信息进行分析、对比、演绎并找出有价值的部分,并将其深化到已有的知识框架中,则上升为智慧。
这是个螺旋上升的过程,其实也是我们数据产生价值的过程。在这个过程中,最重要的一步是将数据转化为信息,这一步做的成果的好坏,直接关系到整个数据价值链的成败。也就是说,要想让数据成为银行的生产力因素,就必须将数据治理放在全行战略的高度。
数据、信息、知识和智慧示意图
在帆软银行顾问近几个月走访江浙区域银行的过程中,能听到的一个明显的声音是,大家都知道数据的价值,也都能够发现数据质量对发挥数据价值的阻碍,但是当领导提出数据治理的期望时,科技部往往面面相觑。
大多数的科技部门对于数据治理还是停留在缺失数据补充,错误数据清洗等具体的事情上。诚然,这些具体的措施都是数据治理的一部分,但很遗憾这样的工作是没办法实现全面的数据治理的,也没办法通过这样的数据治理将数据应用和挖掘提升一个层次。
我国银行数据治理现状
经过多年的信息化银行的建设,我国各家银行积累了海量的、丰富的数据资源。在当今大数据时代,数据本身非常重要,其潜在资产价值对于银行而言更为关键。未来最善于利用数据分析来引导决策、控制风险、进行产品创新的银行将获得更多新的竞争优势。
帆软银行顾问了解到,当前很多银行纷纷将数据治理提上了日程,开展了一系列持续的治理工作,在业务发展模式上更加注重数据的管理提升和内部挖掘潜力,并取得了一定的成就,比如基本统一了全行编码规则,初步实现了客户和产品的主数据维护等。但是现阶段银行的数据治理还是存在管理维度、核心领域和技术维度三个层面的难度,要解决困境就需要对各个层面的问题进行分解、逐个突破。
在推进精细化管理和建立分析挖掘平台方面,银行的数据还存在数据基础薄弱,数据不完整不一致的问题。总结来看,当前我国银行特别是农商行体系数据治理存在的问题主要包括:
1.缺少数据治理企业文化
银行数据治理是一项庞大而复杂的工程,需要各个部门之间,尤其需要加强科技部门和业务部门之间的合作,才能最终高质量、高成效的完成数据治理工作。全行企业文化的建设必须考虑到数据资产管理这个层面,从战略角度启动 、开展和推进数据治理工作,建立一种以数据资产为导向的企业文化,将数据治理、科技治理和公司治理有机的结合起来。
2.没有完善的组织和制度
随着数据治理工作逐渐被重视,银行内部已离不开一个企业级的数据治理职能组织。目前,多数商业银行的数据治理组织和制度由科技部门牵头,整个组织体系业务参与度欠佳,但从数据问题分析的结果来看,业务部门是产生数据的最初、最大来源,数据治理的目的是使银行业务更好地被经营和管理,所以也需要业务部门对数据治理工作进行重视,深入参与和主动负责,保证数据治理的真正落地。
3.未建立数据治理流程和有效的认责管理制度
当前,使用数据的部门因具有明确的、迫切的数据需求,而成为处理问题的主要推动者。但是,在一般情况下,由于没有完整的流程管理机制,在推动工作中会出现以下问题:
(1)不同领域的数据分布在不同的系统中,并由不同的部门负责管理,当需要进行夸领域、跨系统的数据治理工作时,会出现沟通成本高,协调难度大的问题。
(2)解决数据问题时仅从局部考虑,为解决当前紧急问题,较少考虑数据复用和共享机制,不利于后续的系统整合工作。
(3)数据问题解决后,较少进行跟踪管理和规范治理,后续的认责机制不健全,不利于体现数据治理的重要性和必要性。
4.缺少数据治理各领域的管理体系
(1)缺少企业级数据标准管理体系。
虽然银行拥有了大量的数据资源,但是,也经常面临重要数据缺失,系统间数据不一致,统计口径和加工方法不一致,导致数据可信度降低的问题。深入分析后发现,出现这种现象的原因为缺乏有效的数据标准化。
(2)缺少企业级元数据管理体系。
目前,我国大多数银行的元数据管理仅限于少数系统和少数用户,尚未达到体系化的程度,也存在完备性不足的情况。
(3)缺少企业级数据质量管理体系。
数据的质量对银行业发展尤为重要,并且银行对数据质量的治理重视程度会直接影响数据治理的成效。银行的数据质量管理应当涵盖数据质量问题的防范、识别、度量、分析、监控、清洗等管理活动,以满足对数据质量的要求。
(4)缺少完备的数据生命周期管理体系。
当前我国银行大部分在系统无法支撑时才考虑数据清理备份的工作,难以做到对数据生命周期的统筹管理,并且对支付数据生命周期管理的系统和工具建设力度不够,不能很好的支撑全行数据生命周期管理工作。
(5)缺乏完善的系统支撑和技术手段。
现代的银行系统数据量庞大,各式系统多种多样,如果不依赖技术手段,没有相应的支撑平台和工具,就不可能理解如此庞大的数据量和看到其潜在价值。
要想达到数据开发、共享、使用和管理的全方位良性循环,就必须建立起全行级别的数据治理体系,整合行内人才资源,制定相应的管理制度和文化体系,完善数据治理流程管理,利用好科技力量进行各项工作支撑。
建立银行数据治理体系
做好数据治理是一项复杂、长期、系统性的工程,涉及思维、方法、组织、系统工具等多方面要素的综合运用。为了满足企业内部的信息使用需要,一般会通过成立专门的数据治理体系来保证数据的可用性、可获取性、高质量、一致性以及安全性。下面将对银行的数据治理体系架构进行介绍:
基于数据治理时代浮现的诸多机遇,以及面临的一系列问题,我们对商业银行数据治理体系进行研究分析,发现银行的数据治理体系也是一个金字塔结构,依次为战略、机制、领域、技术支撑,从上至下指导,从下而上推进,形成一个多层次、多维度、多视角的全方位框架,如下图:
商业银行数据治理体系
战略:需要进行目标和规划的蓝图设计,将数据治理提升到全行经营战略地位。机制:需要建立健全组织、制度、角色和流程等四个方面的机制,进行全方位可持久的数据治理工作。领域:数据治理的具体领域包括元数据、数据标准、生命周期管理、数据模型、数据存储、数据分布、数据交换、数据集成、数据服务和数据质量管理等内容。技术支撑:数据治理需要在技术层面对上面的各个领域进行管理和支持,比如有数据质量分析、数据建模工具、数据清洗工具、生命周期管理、质量检查工具、数据管理系统等。
从商业银行数据治理体系的金字塔结构可以看出,实际上银行的数据治理体系包含两个层面:一是数据治理核心领域,二是数据治理的保障机制。战略、机制及各领域的技术支撑是商业银行进行数据治理的全面概貌。其相互关系如下图:
商业银行数据治理的保障机制与核心领域
数据治理包含保障机制和核心领域两个部分,他们之间相互支撑,共同保障数据治理的全过程管理。保障机制提供制度和战略力量的支持,明确了组织架构、制度章程、流程管理和及时应用,用来规范数据治理的各个核心领域标准化实施;数据治理的核心领域提供了全方位的数据治理视角,从各个层面各个维度进行数据质量保障,通过相应的系统和技术对战略目标进行支撑和落地,两者之间应该是紧密配合的。
总结
从上面的介绍我们知道,数据治理的过程就是建立数据治理保障机制和完善数据治理核心领域的过程,这两个方面相辅相成,保障机制是数据治理的战略指挥,核心领域是数据治理的枪支弹药,要打好数据治理这场持久战,就必须双管齐下进行建设。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19