2021-12-27
阅读量:
679
用户画像数仓架构图
图1-4所示是用户画像数仓架构图
图1-4下方虚线框中为常见的数据仓库ETL加工流程，也就是将每日的业务数据、日志数据、埋点数据等经过ETL过程，加工到数据仓库 对应的ODS层、DW层、DM层中。
中间的虚线框即为用户画像建模的主要环节，用户画像不是产生 数据的源头，而是对基于数据仓库ODS层、DW层、DM层中与用户相 关数据的二次建模加工。在ETL过程中将用户标签计算结果写入 Hive，由于不同数据库有不同的应用场景，后续需要进一步将数据同 步到MySQL、HBase、Elasticsearch等数据库中。
·Hive：存储用户标签计算结果、用户人群计算结果、用户特征库 计算结果。
·MySQL：存储标签元数据，监控相关数据，导出到业务系统的数 据。 ·HBase：存储线上接口实时调用类数据。
·Elasticserch：支持海量数据的实时查询分析，用于存储用户人 群计算、用户群透视分析所需的用户标签数据（由于用户人群计算、 用户群透视分析的条件转化成的SQL语句多条件嵌套较为复杂，使用 Impala执行也需花费大量时间）。
用户标签数据在Hive中加工完成后，部分标签通过Sqoop同步到 MySQL数据库，提供用于BI报表展示的数据、多维透视分析数据、圈 人服务数据；另一部分标签同步到HBase数据库用于产品的线上个性化推荐.
145.0570
5
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-29
0条评论
CDA持证人阿涛哥
2024-04-14
0条评论
CDA持证人阿涛哥
2024-04-01
1条评论
