京公网安备 11010802034615号
经营许可证编号:京B2-20210330
谈谈银行业的数据治理
数据价值链螺旋受阻
在我们对数据利用提出迫切需求的过程中,许多深层次的数据问题其实已经开始逐步暴露,例如,数据认责不明导致数据源头录入质量不高,数据标准缺失导致统计口径混乱,整体数据质量缺乏有效的监控和管理等等。
数据已经成为企业的资产,但是很遗憾的是它本身并不能直接产生价值,这也是大数据这么火但是很少有企业能够充分发挥数据的价值的原因。要明白如何让数据成为生产力,我们必须理解数据、信息、知识和智慧之间的关系。
数据:它是一种将客观事物按照某种测度感知而获取到的原始记录,未被加工解释,不能回答特定问题,它与其他数据之间也没有建立相互联系,是分散和孤立的。信息:对数据进行加工处理之后,是数据之间建立相互的联系,形成回答某个特定问题的文本,以及被解释具有某些意义的数字、事实、图像等形式的信息。知识:是知识工作者运用大脑对获取的信息进行系统化训练和提炼、研究、总结和分析之后的结果,知识能够精确的反映事物的本质。智慧:在已有的知识的基础之上,对信息进行分析、对比、演绎并找出有价值的部分,并将其深化到已有的知识框架中,则上升为智慧。
这是个螺旋上升的过程,其实也是我们数据产生价值的过程。在这个过程中,最重要的一步是将数据转化为信息,这一步做的成果的好坏,直接关系到整个数据价值链的成败。也就是说,要想让数据成为银行的生产力因素,就必须将数据治理放在全行战略的高度。
数据、信息、知识和智慧示意图
在帆软银行顾问近几个月走访江浙区域银行的过程中,能听到的一个明显的声音是,大家都知道数据的价值,也都能够发现数据质量对发挥数据价值的阻碍,但是当领导提出数据治理的期望时,科技部往往面面相觑。
大多数的科技部门对于数据治理还是停留在缺失数据补充,错误数据清洗等具体的事情上。诚然,这些具体的措施都是数据治理的一部分,但很遗憾这样的工作是没办法实现全面的数据治理的,也没办法通过这样的数据治理将数据应用和挖掘提升一个层次。
我国银行数据治理现状
经过多年的信息化银行的建设,我国各家银行积累了海量的、丰富的数据资源。在当今大数据时代,数据本身非常重要,其潜在资产价值对于银行而言更为关键。未来最善于利用数据分析来引导决策、控制风险、进行产品创新的银行将获得更多新的竞争优势。
帆软银行顾问了解到,当前很多银行纷纷将数据治理提上了日程,开展了一系列持续的治理工作,在业务发展模式上更加注重数据的管理提升和内部挖掘潜力,并取得了一定的成就,比如基本统一了全行编码规则,初步实现了客户和产品的主数据维护等。但是现阶段银行的数据治理还是存在管理维度、核心领域和技术维度三个层面的难度,要解决困境就需要对各个层面的问题进行分解、逐个突破。
在推进精细化管理和建立分析挖掘平台方面,银行的数据还存在数据基础薄弱,数据不完整不一致的问题。总结来看,当前我国银行特别是农商行体系数据治理存在的问题主要包括:
1.缺少数据治理企业文化
银行数据治理是一项庞大而复杂的工程,需要各个部门之间,尤其需要加强科技部门和业务部门之间的合作,才能最终高质量、高成效的完成数据治理工作。全行企业文化的建设必须考虑到数据资产管理这个层面,从战略角度启动 、开展和推进数据治理工作,建立一种以数据资产为导向的企业文化,将数据治理、科技治理和公司治理有机的结合起来。
2.没有完善的组织和制度
随着数据治理工作逐渐被重视,银行内部已离不开一个企业级的数据治理职能组织。目前,多数商业银行的数据治理组织和制度由科技部门牵头,整个组织体系业务参与度欠佳,但从数据问题分析的结果来看,业务部门是产生数据的最初、最大来源,数据治理的目的是使银行业务更好地被经营和管理,所以也需要业务部门对数据治理工作进行重视,深入参与和主动负责,保证数据治理的真正落地。
3.未建立数据治理流程和有效的认责管理制度
当前,使用数据的部门因具有明确的、迫切的数据需求,而成为处理问题的主要推动者。但是,在一般情况下,由于没有完整的流程管理机制,在推动工作中会出现以下问题:
(1)不同领域的数据分布在不同的系统中,并由不同的部门负责管理,当需要进行夸领域、跨系统的数据治理工作时,会出现沟通成本高,协调难度大的问题。
(2)解决数据问题时仅从局部考虑,为解决当前紧急问题,较少考虑数据复用和共享机制,不利于后续的系统整合工作。
(3)数据问题解决后,较少进行跟踪管理和规范治理,后续的认责机制不健全,不利于体现数据治理的重要性和必要性。
4.缺少数据治理各领域的管理体系
(1)缺少企业级数据标准管理体系。
虽然银行拥有了大量的数据资源,但是,也经常面临重要数据缺失,系统间数据不一致,统计口径和加工方法不一致,导致数据可信度降低的问题。深入分析后发现,出现这种现象的原因为缺乏有效的数据标准化。
(2)缺少企业级元数据管理体系。
目前,我国大多数银行的元数据管理仅限于少数系统和少数用户,尚未达到体系化的程度,也存在完备性不足的情况。
(3)缺少企业级数据质量管理体系。
数据的质量对银行业发展尤为重要,并且银行对数据质量的治理重视程度会直接影响数据治理的成效。银行的数据质量管理应当涵盖数据质量问题的防范、识别、度量、分析、监控、清洗等管理活动,以满足对数据质量的要求。
(4)缺少完备的数据生命周期管理体系。
当前我国银行大部分在系统无法支撑时才考虑数据清理备份的工作,难以做到对数据生命周期的统筹管理,并且对支付数据生命周期管理的系统和工具建设力度不够,不能很好的支撑全行数据生命周期管理工作。
(5)缺乏完善的系统支撑和技术手段。
现代的银行系统数据量庞大,各式系统多种多样,如果不依赖技术手段,没有相应的支撑平台和工具,就不可能理解如此庞大的数据量和看到其潜在价值。
要想达到数据开发、共享、使用和管理的全方位良性循环,就必须建立起全行级别的数据治理体系,整合行内人才资源,制定相应的管理制度和文化体系,完善数据治理流程管理,利用好科技力量进行各项工作支撑。
建立银行数据治理体系
做好数据治理是一项复杂、长期、系统性的工程,涉及思维、方法、组织、系统工具等多方面要素的综合运用。为了满足企业内部的信息使用需要,一般会通过成立专门的数据治理体系来保证数据的可用性、可获取性、高质量、一致性以及安全性。下面将对银行的数据治理体系架构进行介绍:
基于数据治理时代浮现的诸多机遇,以及面临的一系列问题,我们对商业银行数据治理体系进行研究分析,发现银行的数据治理体系也是一个金字塔结构,依次为战略、机制、领域、技术支撑,从上至下指导,从下而上推进,形成一个多层次、多维度、多视角的全方位框架,如下图:
商业银行数据治理体系
战略:需要进行目标和规划的蓝图设计,将数据治理提升到全行经营战略地位。机制:需要建立健全组织、制度、角色和流程等四个方面的机制,进行全方位可持久的数据治理工作。领域:数据治理的具体领域包括元数据、数据标准、生命周期管理、数据模型、数据存储、数据分布、数据交换、数据集成、数据服务和数据质量管理等内容。技术支撑:数据治理需要在技术层面对上面的各个领域进行管理和支持,比如有数据质量分析、数据建模工具、数据清洗工具、生命周期管理、质量检查工具、数据管理系统等。
从商业银行数据治理体系的金字塔结构可以看出,实际上银行的数据治理体系包含两个层面:一是数据治理核心领域,二是数据治理的保障机制。战略、机制及各领域的技术支撑是商业银行进行数据治理的全面概貌。其相互关系如下图:
商业银行数据治理的保障机制与核心领域
数据治理包含保障机制和核心领域两个部分,他们之间相互支撑,共同保障数据治理的全过程管理。保障机制提供制度和战略力量的支持,明确了组织架构、制度章程、流程管理和及时应用,用来规范数据治理的各个核心领域标准化实施;数据治理的核心领域提供了全方位的数据治理视角,从各个层面各个维度进行数据质量保障,通过相应的系统和技术对战略目标进行支撑和落地,两者之间应该是紧密配合的。
总结
从上面的介绍我们知道,数据治理的过程就是建立数据治理保障机制和完善数据治理核心领域的过程,这两个方面相辅相成,保障机制是数据治理的战略指挥,核心领域是数据治理的枪支弹药,要打好数据治理这场持久战,就必须双管齐下进行建设。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据统计分析、数据清洗、异常值识别与数据分布研究中,箱型图是最直观、高效、专业的可视化分析工具。相较于柱状图、折线图仅 ...
2026-05-29Tkinter是Python内置的标准GUI图形界面库,具备无需额外安装、调用简单、兼容性强、轻量化高效等优势,是Python快速开发桌面小程 ...
2026-05-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-05-29【核心关键词】大数据、经理、专业、金融、客户、传统、建模、数据产品、互联网金融、产品经理、数据分析、金融行业、数据模型 ...
2026-05-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-05-28随着大数据技术的快速普及,各行各业积累了海量的用户数据、交易数据、生产数据与行为数据。单纯的数据统计与报表分析只能呈现表 ...
2026-05-28在Python网络请求、接口测试、数据爬取、业务对接开发中,Requests库是最简洁、最高效的HTTP请求工具,凭借简洁的语法、完善的适 ...
2026-05-272025 年,零售与服务行业的竞争已从 “经验驱动” 全面转向 “数据驱动”。中小企业门店普遍面临数据零散、分析浅层、决策凭感觉 ...
2026-05-27 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-05-27在统计学分析、实验研究、业务数据复盘过程中,单因素方差分析是检验自变量对因变量是否存在显著影响的核心方法。其中,两个水平 ...
2026-05-26【核心关键词】算法、客户、大数据、互联网、调优、建模、模型优化、机器学习、评分卡模型、模型开发、智能风控、业务场景、数 ...
2026-05-26 很多数据分析师写过无数个 SELECT,但当被问到“新建一张表,该如何定义字段类型来保证数据质量”“创建视图和存储物理表有 ...
2026-05-26在数据清洗、统计分析与数据质量检测工作中,箱型图(又称箱线图、Box Plot)是最直观、最高效的可视化分析工具之一。相较于柱状 ...
2026-05-25在大数据分析、数据清洗、质量管控、风险监测等领域,异常数据识别是保障数据质量、确保分析结论精准、规避业务决策失误的核心基 ...
2026-05-25 很多数据分析师精通Excel函数和透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么关系 ...
2026-05-25数字化经营时代,企业的市场竞争早已从经验决策转向数据决策。门店营收、用户转化、产品销量、成本损耗、存量资产等所有经营行为 ...
2026-05-22在MySQL数据库日常运维、业务数据校验、数据迁移与数据清洗场景中,自增主键ID的连续性校验是一项基础且关键的工作。MySQL的Auto ...
2026-05-22 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-05-22【核心关键词】大数据、可视化、存储、架构、客户、离线、产品、同步、实时、数据仓库、数据分析、数据可视化、存储数据、离线 ...
2026-05-21在电商流量红利消退、公域获客成本持续走高的当下,存量用户深度挖掘已成为店铺增收增效的核心抓手。相较于付费投放获取的陌生新 ...
2026-05-21