
论主数据管理及实现
在企业信息化建设过程中,对于多个业务系统中共有的信息,如:基础代码指标,供应商信息,客户信息等等,难免存在数据不一致,标准不统一等问题,造成系统之间不能共享信息,重复建设等问题,大大增加企业成本。信息作为重要的战略资产,需要在各个系统中共享。主数据管理(Master Data Management,MDM)是实现信息共享的一种解决方案,提供一套方法、流程和技术,确保企业(政府)内数据的准确性、完整性、及时性和一致性。Master Data Management(MDM)采用SOA架构。MDM能够集成分散在现有业务系统中的业务数据,形成统一的共享主数据源,为业务应用提供一致主数据服务。此外MDM还能为政府行业建设基础代码体系,提供标准一致的行业基础代码。
2、主数据管理特性
主数据管理是对行业代码提供统一的管理,并为解决原有业务系统的共享数据提供了有效的管理。在数据的集成与使用、安全保障和快速定制方面提供强大的能力。
在数据的集成与使用方面:支持多种源系统类型和数据格式,提供多种调用协议:MQ和Web
Service,提供Net与Java的二次开发SDK数据的安全保障:数据导入重复性和格式检查。数据申请与发布管理,数据分发的补发,权限控制。数据的快速定制:灵活的数据标准定义。快速查询与录入界面生成。
3、主数据管理实现
主数据管理实现主要内容包括:源系统管理,主数据导入导出,共享业务数据对象管理,主数据蕞点数据同步,主数据权限管理。通过这几方面的配合,建成分布式的主数据管理体系,作到各个企业节点间数据信息的统一,保证企业主数据的准时与一致。
3.1 源系统管理
源系统是指在企业环境中进行主数据管理时,提供数据来源和需要数据共享服务的系统。例如CRM系统和ERP系统。源系统的管理包括应用系统注册和源系统通道注册,多种不同类型源系统实例的注册。源系统通道的类型包括:数据交换平台、文件系统、FTP)系统、关系型数据库和自定义的适配器。
根据应用系统的数据存储和共享方式不同,选择不同类型通道的源系统进行注册,被主数据系统统一管理。其中,主数据系统本身也可以作为一种源系统被管理起来。
应用系统注册将应用系统进行描述性注册,包括名称、概述和作用等。
对注册的应用系统和主数据系统之间注册数据通道,以此建立起能够与主数据系统进行数据交互的源系统。通道的注册分为双向和单向,每个方向都可以设置目标或者来源的类型,例如数据交换集成平台、文件系统、FTP系统、关系型数据库和自定义的适配器。
3.2 主数据导入导出
主数据导入:基于数据定义的格式标准(XML Schema)。手工方式通过将指定源系统的指定数据文件全量或增量方式导入到主数据系统中。
主数据导出:通过用户所拥有的角色权限,主数据系统将符合权限的数据输出为不同格式的文件,例如XML、Excel、csv格式。
3.3 共享业务数据对象管理
业务数据对象描述的是各行业内的核心业务数据对象,这些数据对象分散在不同的业务应用系统中,它是具有高业务价值的。可以在企业内跨越各个应用系统被重复使用的数据对象,如供应商、客户、产品等业务数据。
共享业务数据对象管理主要是集中管理和共享分散在不同应用系统中的需要共享的业务数据对象。保证共享数据的完整性、一致性和准确性。主要功能包括数据共享管理、数据接收、数据订阅分发、共享数据服务、预定义业务对象管理等功能。
图1
数据共享管理提供以下功能:
>业务数据对象定义
业务数据对象提供标准的业务数据对象模型及其属性信息,为共享数据提供方、共享数据使用方提供标准统一的数据模型。
>业务数据查询
查询业务数据对象的基本信息和属性信息。
>业务数据对象发布与停用
业务数据对象定义之后,需要发布才能向数据使用者共享有效的业务数据;也可以停止已经发布的业务数据对象,不再向应用系统共享业务数据。
>业务数据对象状态与属性的关系
数据对象属性的修改受到业务数据对象发布状态及属性本身的一些限制,基本的限制详情如下:
*有条件指的是当属性没有被第三方订阅。或者不作为条件被第三方订阅时可以被删除。
[page] (1)数据订阅分发
主数据管理系统提供数据订阅分发功能。通过制定订阅任务定时或手动将共享业务数据即时提供给各应用系统,订阅能够及时地反馈业务数据的变化情况,以保证业务数据使用的及时性和完整性。
数据订阅分发主要提供以下功能:
>订阅条件管理。订阅条件管理丰要包括:订阅查询、增加、删除、发布、暂停、恢复订阅、数据过滤条件定义等;
>订阅分发。系统将符合条件的共享数据分发给订阅方时可以采用两种方式:定时分发,通过灵活的任务调度向订阅方发送共享数据:手工分发,通过手动即时向订阅方发送共享数据;
>订阅分发监控。系统提供业务数据订阅分发任务监控功能,通过监控功能可以:查询每一项定时分发任务的执行状态,如开始时间、结束时间、执行次数、下次执行时间、上次执行结果等;查询订阅日志、订阅分发日志等信息。
(2)数据接收
系统实时侦听并接收应用系统共享的业务数据,通过数据校验保存业务数据到主数据系统中,共享给其它应用系统,保证跨系统的业务数据准确、一致、有效。数据接收主要包括数据获取、数据校验、数据解析、数据入库、数据接收日志等功。数据接收时,通过数据校验保证数据质量,支持以下校验规则:重复性检查、唯一性检查、自定义校验规则等;
数据接收支持从以下数据源接收数据:
*数据交换平台
*文件系统(Xml、Excel…)
*适配器
(3)共享数据服务
除数据订阅分发外,共享业务数据支持两种直接获取共享业务数据的服务接口:
a.应用程序API接口:用于在本地获取共享业务数据。
b.Web Service接口:可以远程获取共享业务数据。
共享数据服务提供的接口主要包括:获取指定的业务数据对象定义、获取指定的业务对象全部数据、获取按照指定条件查询的数据等功能。
3.4 主数据节点数据同步
(1)同步节点管理
多级问步节点管理包括:注册多级的主数据节点信息,设置主数据节点点对点之间的单向或双向同步通道。节点同步规则管理包括:设定节点与节点之间同步数据的行级条件和主题范围。
(2)数据同步
数据同步包括如下
>定时同步:主数据系统定时通过节点之间的同步通道将符合同步范围的数据推送到接受节点。达到节点与节点之间的数据同步。
>手动同步:通过手动方式,主动触发同步过程,将节点之间的数据进行同步。
>数据同步监控:数据的同步过程和相关信息被记录,并且提供实时的监控界面。为管理人员对了解同步的每个步骤和状态提供帮助。
>数据同步补发:当同步过程中出现了失败。通过监控和日志管理人员能够将同步失败的数据进行再次补发,确保数据的准确性。
3.5 主数据权限管理
通过该功能将外部系统的人员组织信息进行映射关系的管理。角色与人员组织关系的添加、修改、删除和查询。外部系统的人员组织接入。授权管理针对用户对不同主数据的读写操作进行授权。授权功能:主数据属性的访问与修改授权,主数据行级记录的访问与修改授权。
4、总结
主数据管理(Master Data Management,MDM)是实现信息共享的一种解决方案,提供一套方法、流程和技术,确保企业(政府)内数据的准确性、完整性、及时性和一致性。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28PCU:游戏运营的 “实时晴雨表”—— 从数据监控到运营决策的落地指南 在游戏行业,DAU(日活跃用户)、MAU(月活跃用户)是衡量 ...
2025-08-28Excel 聚类分析:零代码实现数据分群,赋能中小团队业务决策 在数字化转型中,“数据分群” 是企业理解用户、优化运营的核心手段 ...
2025-08-28CDA 数据分析师:数字化时代数据思维的践行者与价值推动者 当数字经济成为全球经济增长的核心引擎,数据已从 “辅助性信息” 跃 ...
2025-08-28