京公网安备 11010802034615号
经营许可证编号:京B2-20210330
论主数据管理及实现
在企业信息化建设过程中,对于多个业务系统中共有的信息,如:基础代码指标,供应商信息,客户信息等等,难免存在数据不一致,标准不统一等问题,造成系统之间不能共享信息,重复建设等问题,大大增加企业成本。信息作为重要的战略资产,需要在各个系统中共享。主数据管理(Master Data Management,MDM)是实现信息共享的一种解决方案,提供一套方法、流程和技术,确保企业(政府)内数据的准确性、完整性、及时性和一致性。Master Data Management(MDM)采用SOA架构。MDM能够集成分散在现有业务系统中的业务数据,形成统一的共享主数据源,为业务应用提供一致主数据服务。此外MDM还能为政府行业建设基础代码体系,提供标准一致的行业基础代码。
2、主数据管理特性
主数据管理是对行业代码提供统一的管理,并为解决原有业务系统的共享数据提供了有效的管理。在数据的集成与使用、安全保障和快速定制方面提供强大的能力。
在数据的集成与使用方面:支持多种源系统类型和数据格式,提供多种调用协议:MQ和Web
Service,提供Net与Java的二次开发SDK数据的安全保障:数据导入重复性和格式检查。数据申请与发布管理,数据分发的补发,权限控制。数据的快速定制:灵活的数据标准定义。快速查询与录入界面生成。
3、主数据管理实现
主数据管理实现主要内容包括:源系统管理,主数据导入导出,共享业务数据对象管理,主数据蕞点数据同步,主数据权限管理。通过这几方面的配合,建成分布式的主数据管理体系,作到各个企业节点间数据信息的统一,保证企业主数据的准时与一致。
3.1 源系统管理
源系统是指在企业环境中进行主数据管理时,提供数据来源和需要数据共享服务的系统。例如CRM系统和ERP系统。源系统的管理包括应用系统注册和源系统通道注册,多种不同类型源系统实例的注册。源系统通道的类型包括:数据交换平台、文件系统、FTP)系统、关系型数据库和自定义的适配器。
根据应用系统的数据存储和共享方式不同,选择不同类型通道的源系统进行注册,被主数据系统统一管理。其中,主数据系统本身也可以作为一种源系统被管理起来。
应用系统注册将应用系统进行描述性注册,包括名称、概述和作用等。
对注册的应用系统和主数据系统之间注册数据通道,以此建立起能够与主数据系统进行数据交互的源系统。通道的注册分为双向和单向,每个方向都可以设置目标或者来源的类型,例如数据交换集成平台、文件系统、FTP系统、关系型数据库和自定义的适配器。
3.2 主数据导入导出
主数据导入:基于数据定义的格式标准(XML Schema)。手工方式通过将指定源系统的指定数据文件全量或增量方式导入到主数据系统中。
主数据导出:通过用户所拥有的角色权限,主数据系统将符合权限的数据输出为不同格式的文件,例如XML、Excel、csv格式。
3.3 共享业务数据对象管理
业务数据对象描述的是各行业内的核心业务数据对象,这些数据对象分散在不同的业务应用系统中,它是具有高业务价值的。可以在企业内跨越各个应用系统被重复使用的数据对象,如供应商、客户、产品等业务数据。
共享业务数据对象管理主要是集中管理和共享分散在不同应用系统中的需要共享的业务数据对象。保证共享数据的完整性、一致性和准确性。主要功能包括数据共享管理、数据接收、数据订阅分发、共享数据服务、预定义业务对象管理等功能。
图1
数据共享管理提供以下功能:
>业务数据对象定义
业务数据对象提供标准的业务数据对象模型及其属性信息,为共享数据提供方、共享数据使用方提供标准统一的数据模型。
>业务数据查询
查询业务数据对象的基本信息和属性信息。
>业务数据对象发布与停用
业务数据对象定义之后,需要发布才能向数据使用者共享有效的业务数据;也可以停止已经发布的业务数据对象,不再向应用系统共享业务数据。
>业务数据对象状态与属性的关系
数据对象属性的修改受到业务数据对象发布状态及属性本身的一些限制,基本的限制详情如下:
*有条件指的是当属性没有被第三方订阅。或者不作为条件被第三方订阅时可以被删除。
[page] (1)数据订阅分发
主数据管理系统提供数据订阅分发功能。通过制定订阅任务定时或手动将共享业务数据即时提供给各应用系统,订阅能够及时地反馈业务数据的变化情况,以保证业务数据使用的及时性和完整性。
数据订阅分发主要提供以下功能:
>订阅条件管理。订阅条件管理丰要包括:订阅查询、增加、删除、发布、暂停、恢复订阅、数据过滤条件定义等;
>订阅分发。系统将符合条件的共享数据分发给订阅方时可以采用两种方式:定时分发,通过灵活的任务调度向订阅方发送共享数据:手工分发,通过手动即时向订阅方发送共享数据;
>订阅分发监控。系统提供业务数据订阅分发任务监控功能,通过监控功能可以:查询每一项定时分发任务的执行状态,如开始时间、结束时间、执行次数、下次执行时间、上次执行结果等;查询订阅日志、订阅分发日志等信息。
(2)数据接收
系统实时侦听并接收应用系统共享的业务数据,通过数据校验保存业务数据到主数据系统中,共享给其它应用系统,保证跨系统的业务数据准确、一致、有效。数据接收主要包括数据获取、数据校验、数据解析、数据入库、数据接收日志等功。数据接收时,通过数据校验保证数据质量,支持以下校验规则:重复性检查、唯一性检查、自定义校验规则等;
数据接收支持从以下数据源接收数据:
*数据交换平台
*文件系统(Xml、Excel…)
*适配器
(3)共享数据服务
除数据订阅分发外,共享业务数据支持两种直接获取共享业务数据的服务接口:
a.应用程序API接口:用于在本地获取共享业务数据。
b.Web Service接口:可以远程获取共享业务数据。
共享数据服务提供的接口主要包括:获取指定的业务数据对象定义、获取指定的业务对象全部数据、获取按照指定条件查询的数据等功能。
3.4 主数据节点数据同步
(1)同步节点管理
多级问步节点管理包括:注册多级的主数据节点信息,设置主数据节点点对点之间的单向或双向同步通道。节点同步规则管理包括:设定节点与节点之间同步数据的行级条件和主题范围。
(2)数据同步
数据同步包括如下
>定时同步:主数据系统定时通过节点之间的同步通道将符合同步范围的数据推送到接受节点。达到节点与节点之间的数据同步。
>手动同步:通过手动方式,主动触发同步过程,将节点之间的数据进行同步。
>数据同步监控:数据的同步过程和相关信息被记录,并且提供实时的监控界面。为管理人员对了解同步的每个步骤和状态提供帮助。
>数据同步补发:当同步过程中出现了失败。通过监控和日志管理人员能够将同步失败的数据进行再次补发,确保数据的准确性。
3.5 主数据权限管理
通过该功能将外部系统的人员组织信息进行映射关系的管理。角色与人员组织关系的添加、修改、删除和查询。外部系统的人员组织接入。授权管理针对用户对不同主数据的读写操作进行授权。授权功能:主数据属性的访问与修改授权,主数据行级记录的访问与修改授权。
4、总结
主数据管理(Master Data Management,MDM)是实现信息共享的一种解决方案,提供一套方法、流程和技术,确保企业(政府)内数据的准确性、完整性、及时性和一致性。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27