0. 相关文章链接

用户画像文章汇总

1. 数据架构

在整个工程化方案中，系统依赖的基础设施包括Spark、Hive、 HBase、Airflow、MySQL、Redis、Elasticsearch。除去基础设施外，系统主体还包括Spark Streaming、ETL、产品端3个重要组成部分。如下图所示：

在上图下方虚线框中为常见的数据仓库ETL加工流程，也就是将每日的业务数据、日志数据、埋点数据等经过ETL过程，加工到数据仓库对应的ODS层、DW层、DM层中。

中间的虚线框即为用户画像建模的主要环节，用户画像不是产生数据的源头，而是对基于数据仓库ODS层、DW层、DM层中与用户相关数据的二次建模加工。在ETL过程中将用户标签计算结果写入Hive，由于不同数据库有不同的应用场景，后续需要进一步将数据同步到MySQL、 HBase、Elasticsearch等数据库中。

Hive：存储用户标签计算结果、用户人群计算结果、用户特征库计算结果。

MySQL：存储标签元数据，监控相关数据，导出到业务系统的数据。

HBase：存储线上接口实时调用类数据。

Elasticserch：支持海量数据的实时查询分析，用于存储用户人群计算、用户群透视分析所需的用户标签数据（由于用户人群计算、用户群透视分析的条件转化成的SQL语句多条件嵌套较为复杂，使用Impala执行也需花费大量时间）。

用户标签数据在Hive中加工完成后，部分标签通过Sqoop同步到MySQL数据库，提供用于BI报表展示的数据、多维透视分析数据、圈人服务数据；另一部分标签同步到HBase数据库用于产品的线上个性化推荐。

注：再次声明，此博文为根据 赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记而来，仅供学习使用

注：其他相关文章链接由此进 -> 用户画像文章汇总

用户画像基础之数据架构相关推荐

知乎用户画像与实时数据架构实践
大家好,我是云祁! 今天和大家分享知乎侯容老师关于用户画像和实时数据架构实践的干货. 侯容:知乎数据赋能组 Leader,主要负责实时数据.用户理解方向. 一.前言 ‍‍‍‍‍‍‍‍知乎业务中,随着各 ...
用户画像与实时数据的架构及实践
一.前言知乎业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部分的诉求越来越多.对用户画像方面,期望有更快.更准.更方便的人群筛选工具和方便的用户群体分析能力.对于实时数据方面,期望拥有 ...
【Doris】知乎用户画像与实时数据的架构与实践
用户画像与实时数据分析是互联网企业的数据核心.知乎数据赋能团队以 Apache Doris 为基础,基于云服务构建高响应.低成本.兼顾稳定性与灵活性的实时数据架构,同时支持实时业务分析.实时算法特征. ...
大数据用户画像基础
导读:在互联网步入大数据时代后,用户行为给企业的产品和服务带来了一系列的改变和重塑,其中最大的变化在于,用户的一切行为在企业面前是可"追溯""分析"的.企业内保 ...
python用户画像_大数据-用户画像DMP
描述大数据-用户画像DMP --小树老师更多好课大数据用户画像系统课程一.项目概述目前推广平台仅在投放端提供了有限的定向能力,广告主没有足够的流量抓手,无法满足大中型广告主的营销目标.画像系统提 ...
【用户画像】大数据之用户画像的原理、应用与实现
什么是用户画像用户画像:通过各个维度对用户或者产品特征属性的刻画,并对这些特征分析统计挖掘潜在价值信息.完美地抽象出一个用户的信息全貌,可以看作企业应用大数据的根基.用户画像使用标签来量化用户特征属 ...
用户画像基础之用户画像是什么
目录 0. 相关文章链接 1. 用户画像是什么 2. 画像简介 3. 标签类型注:此博文为根据赵宏田老师的用户画像·方法论与工程化解决方案一书读后笔记而来,仅供学习使用 0. 相关文章链接 ...
用户画像2种数据存储的方式
目前,越来越多的企业,在大数据应用上,都会选择用户画像这一主题,为什么呢?因为用户画像相对于做推荐以及机器学习等简单容易的多,做画像,更多是就是对用户数据的整合,然后做一些用户聚类.用推荐算法,比如基 ...
MySQL实战演练——如何才能构建逾期用户画像？【数据可视化】
大家早上好,本人姓吴,如果觉得文章写得还行的话也可以叫我吴老师.欢迎大家跟我一起走进数据分析的世界,一起学习! 感兴趣的朋友可以关注我或者我的数据分析专栏,里面有许多优质的文章跟大家分享哦. 目录必 ...

用户画像基础之数据架构

0. 相关文章链接

1. 数据架构

用户画像基础之数据架构相关推荐

最新文章

热门文章