京公网安备 11010802034615号
经营许可证编号:京B2-20210330
数据仓库实施需注意的四大问题
在实施数据仓库的过程中,还面临着很多影响数据仓库项目成败的关键因素,而这些因素实际上并不完全是技术层面的。这也是为什么数据仓库项目失败比例很高的主要原因。只有在项目中很好的解决这些问题,才能保证数据仓库项目的最终成功。下面分别介绍这些需要关注的问题:
1.采用何种实施方法
企业级数据仓库的实现通常有两种途径:一种是从建造某个部门特定的数据集市开始,逐步扩充数据仓库所包含的主题和范围,最后形成一个能够完全反应企业全貌的企业级数据仓库;另外一种则是从一开始就从企业的整体来考虑数据仓库的主题和实施。前一种方法是各个击破,投资少、周期短且易于见到成果,但由于该设计开始时是以特定的部门级主题为框架的,向其他的主题和部门扩充往往非常困难。而后一种方法恰恰相反:投资大、周期长,但是易于扩展。
以哪种方法进行实施,主要取决于各个行业和客户的实际情况。如电信和银行业,采用第二种方法比较可行,这是因为这两个行业业务发展变化快,为了能够适应将来的变化,整个数据仓库架构必须是可扩展的和易于维护的。如果只是基于部门级的需求去设计,将来肯定无法适应变化。如果重新设计,势必造成前期投入的浪费。对其他一些行业,如制造业和零售业,本着“急用先行”的原则,可以先从某一局部入手,慢慢扩展为数据仓库。
从技术上讲,以部门需求作为主要考虑因素建立的系统,它的数据量不会太大,会影响对将来数据膨胀风险的正确估计,当数据集市扩展到企业范围的时候,由于原有技术无法支撑新的数据规模,会造成数据装载和数据分析速度的降低,甚至达到不可用的地步。另外,企业级的数据仓库会涉及更多的额业务系统,只有充分研究各业务系统,才能了解如何对不同格式、不同标准、不同接口的数据进行集成。如果没有这方面的准备,当扩展到企业层面时,会面临很多技术问题,难以解决,而不得不对原有系统进行修改或重建。
当然,对于第二种方法,也不是说把摊子铺的越大越好。合理的做法是“统筹规划,分步实施”。根据业务需求,把业务的主要方面都涵盖进去,确定彼此之间的联系;对于次要的需求,可以预留一些接口,以备将来细化。否则,如果整个调研周期拖得太长,等进入实施阶段,业务又发生变化,不得不重新修改设计,同样会造成浪费。所以,先搭建好一个易于扩展且稳定的架构,在此基础上逐步实施,是一个兼顾长远发展与合理投入的最佳方式。
此外,分步实施还可以减少风险:前一阶段的经验教训可以为下一阶段提供有益的借鉴,从而使得数据仓库的建设不断完善,不断发展。
2.从业务需求出发,结合先进的实现技术
和其他的应用系统相比,数据仓库对于需求分析和系统设计等前期工作要求更高,其重要性也更加突出。可以说,分析和设计阶段决定了数据仓库最终的失败。因为需求不明确、设计不合理造成的根本性缺陷是以后实施阶段所无法弥补的。因此在分析和设计阶段,对相关的业务部门和技术部门要进行详细的调研,在用户和开发人员之间的迭代和反馈是必须和重要的,它决定了数据仓库最终的成功与否。
由于数据仓库是面向业务分析的,所以最主要的需求应该从业务部门获取和收集,因为数据仓库最终是要服务于业务部门的。需求抓的不准,导致将来将无法解决业务部门的问题,这个数据仓库项目就是失败的,技术再先进也没有用。这是衡量数据仓库成败与否的唯一尺度。
实施的过程中,最好能够把行业专家的经验,与企业现有的需求进行整合,以期得到一个更加全面的需求范围,有利于适应将来业务的变化和扩展。
从技术的角度来讲,必须建立一个可伸缩、可扩展、高性能的数据仓库平台,才能为将来不断的完善、不断发展打下一个良好的基础;同时,由于数据仓库项目要涉及多个业务系统,数据量非常庞大,所以本身的投入也是很大的,在保证系统高效稳定的前提下,尽量降低成本是非常重要的。
3.如何进行主题规划
正如前面所讲,建立数据仓库需要长远的规划,我们建议企业“自底向上”地建立数据仓库,并不意味着不需要在设计阶段的长远规划。采用逐步积累的方式建立数据仓库,其最大的问题是已有的主题是否有助于形成企业级的主题,数据加载模块时候能够重用等。数据仓库的长远规划,并不仅仅是技术部门的事情,应当把数据仓库的构建作为企业发展战略的一个重要组成部分。
数据仓库设计的第一步是主题的确定,从现在的情况看,主题的范围太大实现不了,太小没有意义,应该选择相对独立而且技术上可行的一些业务。例如客户分析、产品分析、收入分析和市场分析等。因为这些分析与企业当前的业务运行联系最紧密,通过它们,可以了解:
·哪个企业拥有哪些不同类型的客户?
·哪些是给我最大收益的客户?如何提升他们的价值?
·如何掌握新的竞争形势下客户的需求与行为?
·哪些业务最受欢迎,利润最高?
·业务的分布如何?
·快速成长的新的收入来源有哪些?
·应收账款、欠费情况如何?
·与其他同行竞争对手的结算金额占整个收入的比例?
·我的客户是否打算选择其他竞争对手?
·运营成本和收益?
·哪些市场活动是有成效的,收益多少?
在完成第一阶段的实施后,可以开始第二阶段的实施。第二阶段主要是从市场营销、资源管理、网络管理、客户服务等部分入手;第三阶段可继续扩展到财务、绩效等更高层次的、全局性的财务、运营情况分析。这时候,所有的重要信息都已连成一体,CEO可以了解有关成本、利润、市场营销还有客户发展趋势等多方面的企业宏观层面的决策信息,它们为定制战略决策提供了充分的依据。决策的制定再也不是单凭经验和感觉了。从而大大的提高了决策的质量,规避了风险。减少了决策失误造成的巨大损失。这也正是数据仓库高投资回报率的重要体现。
当然,在进行主体规划的时候,必须重点强调的是:技术框架和系统设计必须从整个企业的角度来考虑,即使刚开始实施的时候是面向某个部门的。以电信企业为例,在进行“客户”主题设计的时候,就必须考虑到同一用户还有可能是长途电话、移动电话的用户。因此在设计时如果同时考虑固定电话用户,就不仅要解决不同系统的互联问题,在不同系统中用户数据的集成也将是一个巨大的挑战。
4.领导层的参与和支持
数据仓库是面向业务主题的分析型应用。它既需要业务部门的全力配合,又需要先进可靠的技术手段及良好的项目管理过程来实现。它涉及众多的业务部门、系统开发部门、系统运维支撑部门等。在设计和实施阶段需要不同部门的沟通和协作,是一个负责的系统工程。只有领导层从战略的高度上认识到它的重要性,在项目实施过程中给与大力支持和配合,协调各部门资源,保证他们可以及时到位,全职投入才能取得项目的成功。所以数据仓库项目又通常被称为“一把手”工程。从这一点上看,建立一个企业级的数据仓库,主要的障碍不在于技术,而是不同部门之间组织、协调的问题。而高层领导的大力推动和支持,无疑是解决这一问题的最有效的途径。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22数据收集是数据分析、数据挖掘与数字化运营的源头工作,数据收集的完整性、准确性、时效性直接决定后续数据分析结果的可信度与业 ...
2026-09-21