热线电话：13121318867

登录
首页精彩阅读数据仓库的数据追加常用的技术和方法
数据仓库的数据追加常用的技术和方法
2018-08-21
收藏

数据仓库的数据追加常用的技术和方法

如何定期向数据仓库追加数据也是一个十分重要的技术。数据仓库的数据来自OLTP的数据库中，问题是如何知道究竟哪些数据是在上一次追加过程之后新生成的。

常用的技术和方法如下：

(1)时标方法：如果数据含有时标，对新插入或更新的数据记录，在记录中添加更新时的时标，那么只需根据时标判断即可。但并非所有的数据库中的数据都含有时标。

(2)DELTA文件：它是由应用生成的，记录了应用改变的所有内容。利用DELTA文件效率很高，它避免了扫描整个数据库，但同样的问题是生成DELTA文件的应用并不普遍。此外，还有更改应用代码的方法，使得应用在生成新数据时可以自动将其记录下来。但应用成千上万，且修改代码十分烦琐，这种方法很难实现。

(3)前后映像文件的方法：在抽取数据前后对数据库各做一次快照，然后比较两幅快照的不同从而确定新数据。这种方法占用大量资源，对性能影响极大，因此并无多大实际意义。

(4)日志文件：最可取的技术大概就是利用日志文件了，因为它是DB的固有机制，不会影响OLTP的性能。同时，它还具有DELTA文件的优越性质，提取数据只要局限日志文件即可，不用扫描整个数据库。当然，原来日志文件的格式是依据DB系统的要求而确定的，它包含的数据对于数据仓库而言可能有许多冗余。例如，对一个记录的多次更新，口志文件将全部变化过程都记录下来；而对于数据仓库，只需要最终结果。但比较而言，日志文件仍然是最可行的一种选择。



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试教材；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试题库；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想了解CDA院校合作，点击>>> “院校合作” 了解咨询CDA院校合作；

数据仓库

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇大数据：分类型数据可视化方法研究报告
下一篇建模准备一定要做的这几件事
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询