来源:一个数据人的自留地

乔巴:我是一枚半路转行的数据产品经理,现在大数据火热,所在公司想搭建画像系统,但自己对用户画像没有概念,对画像系统是怎样的架构,有哪些常见的功能等事项全然不知,真是困煞我也!

索隆,会心一笑,言道:产品经理就是为了解决问题而存在,解决问题要一步一步来,想掌握画像体系可以先了解标签体系、OneID体系等基础内容。

然后来细读各个大厂的画像系统是如何搭建的,如微博、百度地图、京东数科、腾讯、阿里等巨头公司的画像系统,正所谓“求其上者得其中,求其中者得其下”。取上再结合实际,才为正道。

乔巴:cool,我先学习一波~

索隆:接下来会按如下结构展开:

1.V1.0:画像初级版,为画像系统雏形,选取了2015-2017年早期的画像版本,彼时部分公司的画像系统刚刚起步,各方面功能还未探索清楚,如百度地图画像系统、微博画像系统;

2.V2.0:画像标准版,其基础功能完善,有了一定的分析能力,如神策画像系统、京东数科画像系统;

3.V3.0:画像营销版,其进化为营销工具,助力业务增长,如腾讯广点通DMP、阿里达摩盘DMP;

01

V1.0:画像初级版

画像初级版,选取了2015年早期的画像版本,彼时部分公司的画像系统刚刚起步,各方面功能还未探索清楚。

例如,百度地图的渠道画像系统的整体设计是,在数据分析/报表系统的基础上加上一些基础的画像元素,如性别、年龄、行业、所在城市等标签数据。此阶段发力于对各业务进行数据分析,如建设了dashboard、自定义报表、订阅,类似BI平台,但缺乏标签体系建设、缺乏洞察等模块,各个画像的功能做的比较浅。

再到微博画像系统这,已经形成了画像基本形态,从数据采集、数据清洗,标签生成,到单用户画像、分群用户画像、API接口提供等。其功能模块相对来看较为完整,但洞察能力、标签体系建设能力还需继续增强。

01

百度地图画像系统

据相关资料报道,17年时,百度地图的市场占有率在45%-50%之间,未能覆盖全量用户,获取用户数据信息受到限制。因此,百度地图与华为、OPPO、vivo、小米、魅族等TOP手机厂商进行深度合作,允许其手机系统调用百度地图的LBS基础功能,从而换取数据共享的资源,用户画像系统在这个背景下产生。

而此用户画像系统在预算评估、投放效果分析、经费节约、用户实施监测等方面提供有力数据支持。

1.系统架构

系统的整体架构包含:

1.数据层:数据采集、数据清洗、数据库搭建、数据合成

2.管理层:管理模块和个人中心

a.管理模块:角色管理、用户权限管理、报表增删改查管理

b.个人中心模块:登录设置、浏览设置、dashboard自定义设置

3.展现层:导航模块和浏览模块

a.导航模块:用户自行选择需求报表

b.浏览模块:用户选择查看维度,自定义dashboard展示

4.拓展层:

a.收藏模块:用户通过点击收藏,对关注频率较高的页面进行收藏,方便在众多报表中快速找到自己关注的报表。

b.邮件设置模块:用户选择关注的核心数据,每日定期将所选择的数据以报表形式发送至指定邮箱

c.异常预警模块:主要面向管理员,对报表和数值设定阈值,当数值超过阈值时通过邮件等形式通知管理员,以便及时发现数据异常情况

d.导出模块:Excel原始数据导出、图表导出

2.产品功能

如下图所示,渠道画像平台根据其面向的用户群的需求及特征可划分为,前装渠道、后装商店、厂商品牌、前后装对比等业务类模块。而每个渠道下,可进一步分析渠道质量、基础画像、用户行为。

基础画像包含个人属性类数据,如性别分布、年龄分布、教育层次分布、消费水平分布等。

通过城市用户分布热力图,可以直观了解各城市用户数量分布。

02

微博画像系统

微博画像系统基于微博的大数据,对微博全体用户进行刻画,可对每类用户进行数据分析。

微博的用画像系统主要包含数据爬取模块、单个画像模块、批量画像模块、查询接口模块。

1.数据爬取模块

数据爬取模块主要是做数据采集和数据清洗,采集用户在开发者平台上填写的资料信息,进行接口调用品类的限制,并保持最新的用户数据,对数据进行清洗,提供用户基础信息及用户关系链的接口,方便各个系统进行调用。

2.单个用户画像模块

单画像模块主要分为标签生成、用户行为分析、关系链分析。

a.标签生成

标签生成模块顾名思义,主要功能是通过对数据的分析给用户打标签,即用户画像。标签主要分为三类,一是安全标签,二是聚类标签,三是统计标签。

安全标签:描述账号是否异常,依据事先制定好的安全策略,分析异常概览。一是分析黑色产业链的整个流程,分析用户账号被盗之后的特点;二是分析用户的历史行为,来判断目前的用户行为异常的可能性。

聚类标签:对聚类算法的结果进行分析和解释后得出的结论,主要使用的是K-mean聚类算法。

统计标签:将各个指标进行统计分析之后,根据用户的分布,得出统计类标签。

索隆:可见这是早期的标签体系,但从标签分类来看,缺乏清晰的分类逻辑。

b.用户行为分析

通过在一段时间内,观察用户行为的变化,进行用户状态的判断和未来行为预测。如用户登录时长、关注数、粉丝数、微博数、收藏数等指标。

c.关系链分析

用户的关系链可以很好的描述一个人,因此关系链分析也是画像的重点。此处主要分析用户好友的年龄,城市以及好友的关注数等指标。

3.批量用户画像

批量用户画像主要分为文件上传、结果统计及展示模块。

a.文件上传

文件上传模块,支持用户将需要分析的用户ID写在一个txt文件中,通过前端页面传到后台进行分析。文件中的每个用户ID使用换行分隔符隔开,原则上每个文件的大小不超过10M。

b.数据统计及展示

批量用户画像和单个画像的主要区别是,单个画像只需要描述单个用户,而批量画像则需要对多个用户信息进行统计分析。数据统计及展示模块主要使用highcharts实现,使用柱状图、饼状图、散点图进行数据可视化。

独立分析指标:性别、关注数、粉丝数、微博数、收藏数…

联合分析指标:粉丝数、微博数、收藏数;关注数、微博数、收藏数;关注数、粉丝数、收藏数;关注数、粉丝数、微博数;

c.查询接口

接口模块同样是画像系统上十分重要,画像系统上创建的分群,可以以接口的形式供各业务系统调用。

03

小结

此处案例中的百度渠道画像系统还较为传统,在走BI的路子,相对来说微博画像系统已经更近一步有了单用户画像、分群画像、标签管理、接口等标准画像模块,不过标签体系和用户洞察做得不够深入。那接下来看看画像V2.0会有哪些进化。

02

V2.0:画像标准版

第二阶段的画像系统功能较为完备,初步实现为业务赋能,如神策画像系统、京东数科画像系统、腾讯广点通。

1.京东数科画像系统,标准画像系统,提供较为标准的画像功能,包含标签市场、人群画像、人群管理、接口服务、标签管理等,可以将用户分群服务于其他各个业务系统。

2.神策画像系统,分析类画像系统,则基于神策的数据分析基因进行用户分群、画像洞察相关的拓展,本质上是一个数据分析工具,其分析能力可进行借鉴。

01

京东数科画像系统

京东数科画像系统:提供基于用户标签、人群画像的统一数据开发与应用服务。辅助基于业务主体的营销、分析、识别、价值变现等目标场景的实现和服务拓展。

1.标签市场

标签列表中展示所有标签,对制定标签查看标签信息、标签值分布及标签的各项指标统计。

2.人群画像/洞察

支持对人群进行人群数量计算、基础画像分析、自定义画像分析,并分析两个人群之间的交叉情况、分析人群与其他标签关系。

3.人群管理

人群管理支持多种方式创建人群,并支持人群的信息设置,规则修改,保存后的人群可进行人群画像等操作。

4.接口服务

管理员可以在“权限管理”中管理用户的系统角色、标签使用权限;管理系统对接标签、任期内接口的权限。

5.标签管理

数据开发和管理员拥有标签管理的权限,进入页面后,可以查看对应标签的状态和信息,并且对标签进行“测试、下线、修改、删除”等操作。

02

神策画像系统

神策用户画像系统,是针对企业级客户推出的用户数据分析平台,提供探索用户特征及画像能力,完成对用户的识别、聚类和细分,并通过历史特征变化,查看用户全生命周期的演变过程,主要功能包含特征标签的加工生产,用户特征及画像分析,用户分群管理。

1.用户标签管理

a.创建标签用户

创建标签的过程中,按符合用户的行为习惯的方式来进行创建即可。填写标签名称,设置清楚标签条件, 同时,创建标签需要提供标签的基础信息,主要包含:标签的显示名、标签名称、标签的分组、更新方式和备注等。

b.管理用户标签

支持标签的启用、停止、删除、重算、历史回溯、标签计算规则查看,标签的数据可视化呈现。

2.用户分群管理

a. 创建用户分群

支持按规则创建分群,或者是通过文件上传的方式创建分群。

b. 管理用户分群

3.用户洞察分析

a.单用户画像

查看单个用户画像信息时,可以看到该用户全部属性,相当于一个人的个人简历,直扑眼前。

b.群体用户画像

通过选择对照组,可进行两个群组用户的画像特征对照分析。对照组默认为无,可选择用户分群或用户分群任一版本进行对照分析。

查看TGI,TGI(目标用户群体指数)=目标用户群中某一特征的总用户数在总用户的占比/全量用户中具有该特征的总用户数在全量用户总用户数的占比*标准数100

并且通过选择用户群画像模板,可直接将管理员预先设置的画像信息快速加载到画像分析结果中,同时可自行在其基础上进行画像信息的添加或删除。

c.相似人群扩散

通过智能算法,寻找与种子人群特征相似的【相似用户群】,针对相似用户群,可以进行针对性的运营策略。

其中种子人群,可分为正向种子人群,即预测人群的结果是与正向种子人群相似的;负向种子人群,预测的人群的结果是与负向种子人群相悖的。

4.系统设置

包含单用户画像、群体用户画像、相似人群画像模板管理、功能权限及数据权限配置等功能。

03

小结

第二阶段的画像系统功能已趋近完善,标签体系已开始单独建设与管理,分析洞察能力也在不断加强,具备画像标准版功能。但当前阶段与业务的关系结合的还不够紧密,要想发挥出标签的业务价值,还需进一步强化与业务方的关系。

03

V3.0:画像营销版

到画像3.0,画像系统更像是一个营销工具,除了拥有完备的画像基础能力外,还能更贴近业务的进行营销洞察,个人觉得更符合营销版的是阿里的达摩盘。

1.腾讯广点通DMP,广告类画像系统,是腾讯推出的数据管理平台,主要应用于智能广告投放,提供标签市场、用户分群、分群洞察等能力。

2.阿里达摩盘DMP,营销类画像系统,是阿里妈妈推出的数据管理平台,提供标签市场、用户分群、分群洞察、营销学院等能力。

01

腾讯DMP

腾讯DMP数据管理平台是广告主实现自身数据增值的重要工具,能帮助广告主管理自己在腾讯系中的人群,更灵活地将第一方数据用于广告投放,以及再营销、动态商品广告、转化统计等应用。

广告主也可以使用关键词、 LBS 等数据标签创建自己的目标受众。DMP 的Lookalike人群拓展功能,还能帮忙广告主在腾讯用户体系中寻找可能的新用户。

1.数据接入

用户会在网站、应用等场景发生一些行为,如浏览商品、收藏内容、完成关卡等。接入行为数据帮助了解用户在其网站或应用中采取的操作,继而利用这些数据进行广告营销活动。

人群提取:广告主可根据其上传的用户行为数据,提取出符合特定条件的用户人群,用于广告定向等。假如广告主上报了一条“某用户某时刻在某应用内购买了价格300元的女装”的行为数据,那么,广告主可以在DMP中创建一个“最近7天,在应用内发生购买行为,商品类型是女装,商品价格>200”的行为人群。

转化统计:广告主可把其上传的用户行为数据与广告进行关联,从而统计广告的转化效果。

2.人群管理

a.创建人群

根据用户的需要,将人群按照不同的方式提取或划分,创建成不同性质的人群。

人群分类又可分为自定义人群、拓展人群、组合人群三大类,下述划分几个小类。

例如,客户文件,指客户将想要用于广告投放的用户ID以文件的形式上传。

创建要求:当客户存在目标用户的QQ号、手机号、IDFA、cookie、MAC地址等信息时,方可创建人群。

应用场景:可以将想要用于管理的用户ID等信息,以TXT文件或压缩包的形式上传到DMP,创建成功后即在DMP对这些用户进行拓展、组合、洞察分析和广告投放等。

例如:某美妆品牌上传了注册会员的人群,对此人群定向投放品牌周年庆折扣活动的广告,大大提升了销售量和会员回购率;当用于智能拓展时,高质量的一手数据包,创建的种子人群能进行拓展,得到海量精准定位的潜在用户。

支持的数据类型:

b.人群管理

用户在人群管理页面进行筛选、编辑、授权、删除等操作。

操作:点击下拉菜单,可对人群进行智能拓展、洞察分析、授权、删除等操作

人群编辑:点击人群名称,进入详情页,可对人群名称和描述进行编辑,并查看该人群的具体信息、创建时间、来源和操作记录等信息

搜索:按照人群名称或ID来搜索人群,随着输入人群会自动过滤

删除:删除不需要的人群,释放人群配额,定期删除人群也更便于人群管理。例如:对于一些测试的人群,可将其删除。

3.洞察分析

每个人群的创建都是在一定条件下进行,有频繁与某些广告互动的人群,也有特定地点位置变动的人群,或者是客户提供的第一份数据创建的群等,洞察分析可以帮助客户更加细致全面的了解人群的属性、兴趣分类、关注点及地域特点等特征分布情况,这些特征可以用于优化广告创意,指导营销策略,为进一步制定投放提供参考依据。客户对人群的洞察越清晰,就越能准确的传达出品牌的产品信息、提高投放效率。

例如:用户通过洞察分析得出,人群中男性占比较高,兴趣爱好属体育健康类居多,可根据这些信息修改出更符合用户特征的广告创意,投放时可筛选女性用品等可能导致低点击转化类别的广告,使得广告投放更具有针对性。并可导出生成报表。

进行数据下钻,查看更深层次的洞察数据:

4.标签广场

标签广场包含两个模块:标签专区和热点人群。其中标签专区包含标签地图、专属推荐和行业推荐。

标签地图:标签索引区,以树形结构展示所有定向标签。基础的人口学属性包含消费状态、生活方式和工作状态等几大类标签,点击标签可进入下一个页面查看具体的标签结构,进一步了解标签信息。

为进一步提高操作效率,还有收藏夹的功能,用于存放用户感兴趣的标签,方便快速找到目标标签。当不知道选什么标签时,可查看专属推荐&行业推荐模块。

临近双十一了,可以使用热点人群,热点人群是一个按营销场景推出的主题标签组合专区,会结合行业特征或节日主题,围绕一系列营销场景或时事话题进行组合。

5.对接投放

选择DMP中的人群,可对接至广告自助投放系统,进行广告投放。

02

阿里达摩盘DMP

达摩盘又称DMP,是阿里妈妈基于商业化场景打造的数据管理平台。商家通过达摩盘可以实现各类人群的洞察和分析,进行潜力客户的挖掘;通过标签市场快速圈定目标人群,建立个性化的用户细分和精准营销。

不得不说,达摩盘的水很深,研究达摩盘的标签体系、系统后台、玩法几乎花了草帽小子2个月时间,越挖掘越有料,下边由草帽小子带你先从整体上了解达摩盘的系统构成。后续会出达摩盘标签体系、洞察、分群等各个模块的专题文章,感兴趣的朋友可以先关注公众号:一个数据人的自留地,进群交流。

1.首页

达摩盘首页主要包含店铺消费资产,可查看全部消费者、潜客、新客、老客的趋势;标签使用推荐、老客价值细分、店铺消费者流转等。

2.洞察

洞察模块主要包含人群画像分析、单品智能洞察圈人、店铺超级用户洞察圈人。例如当进行人群画像洞察时,需要选择对比的人群,对比不同人群的特征,如性别、年龄、行业、消费水平等数据的对比。

3.标签

随着越来越多商家拥有个性化人群运营诉求,围绕精细化人群定向中台定位,达摩盘基于大数据深度挖掘和分析,通过精细化人群赋能不同层级商家精准营销,满足商家在不同营销场景下的人群诉求,提升商家消费者运营效率。

4.人群

人群模块主要包含我创建的人群、合作方人群、第三方数据上传,可管理人群,支持按标签和人群组合创建分群,支持交并差各类组合创建分群。

5.报表

系统提供整体达摩盘人群投放效果概览,可自定义历史事件,查看整体投放效果,同时查看同行同层级投放平均数据,了解同行对比情况。查看不同渠道下,人群投放效果,查看投放趋势,同时提供基于广告曝光、达摩盘曝光、全店消费者三个维度下,提供人群流转分析,帮助商家全面评估人群构成。

03

小结

经过如上的对比可发现画像系统的功能大同小异,其核心在于其标签体系、洞察及营销应用能力。在建设时也可根据公司实际需要,从下至上进行建设。

参考资料:

1.张哲,基于微博数据的用户画像系统的设计与实现,2015,1,16

2.张宇豪,基于百度地图大数据的用户画像系统设计与实现,2017,12,26

END

如何构建用户画像系统?看这一篇就够了!相关推荐

  1. 73页PPT,教你从0到1构建用户画像系统(附下载)

    导读:用户画像就是给用户打标签,那么有哪些标签类型?用户画像的开发包括哪些阶段?每个阶段有哪些输出?用户画像系统有哪些数据结构?--你将在本文分享的PPT中找到这些问题的答案,这份干货将带你全面了解用 ...

  2. 【干货】如何从0到1构建用户画像系统.pdf(附76页pdf下载链接)

    随着数字化浪潮的到来,用户画像系统也被提及的越来越多,在整个精细化运营过程中,用户体画像体系的搭建起着不可或缺的作用. 今天给大家分享一份干货文档<如何从0到1构建用户画像系统.pdf>, ...

  3. 基于MRS-ClickHouse构建用户画像系统方案介绍

    业务场景 用户画像是对用户信息的标签化.用户画像系统通过对收集的各维度数据,进行深度的分析和挖掘,给不同的用户打上不同的标签,从而刻画出客户的全貌.通过用户画像系统,可以对各个用户进行精准定位,从而将 ...

  4. 用户画像——如何构建用户画像系统

    为什么需要用户画像 如果你是用户,当你使用抖音.今日头条的时候,如果平台推荐给你的内容都是你感兴趣的,能够为你节省大量搜索内容的时间. 如果你是商家,当你投放广告的时候,如果平台推送的用户都是你的潜在 ...

  5. 如何构建用户画像系统

    乔巴:我是一枚半路转行的数据产品经理,现在大数据火热,所在公司想搭建画像系统,但自己对用户画像没有概念,对画像系统是怎样的架构,有哪些常见的功能等事项全然不知,真是困煞我也! 索隆,会心一笑,言道:产 ...

  6. 监控系统看这一篇就够了!zabbix、Prometheus等常见监控教程

    监控系统俗称「第三只眼」,几乎是我们每天都会打交道的系统,俗话说:无监控.不运维,监控系统的地位不言而喻. 先来认识下主流的开源监控系统,Zabbix.Open-Falcon.Prometheus等, ...

  7. 我用MRS-ClickHouse构建的用户画像系统,让老板拍手称赞

    摘要:在移动互联网时代,用户数量庞大,标签数量众多,用户标签的数据量巨大.用户画像系统中,对于标签的存储和查询,不同的企业有不同的实现方案.当前主流的实现方案采用ElasticSearch方案.但基于 ...

  8. 只需8步,轻松构建用户画像标签体系

    随着互联网流量红利的逐渐消失及用户需求的日渐碎片化,APP无论是进行拉新获客还是用户全生命周期管理,或是商业变现,都需要更精准地洞察用户需求,从而为用户提供高质量贴心服务,实现精细化运营. 于是,构建 ...

  9. 真实案例,手把手教你构建用户画像

    导读:本文通过一个贯穿本书的实践案例来将大家更好地带入实际开发画像.应用画像标签的场景中.本文主要介绍案例背景及相关的元数据,以及开发标签中可以设计的表结构样式. 在本案例的开发工作中,基于Spark ...

最新文章

  1. python 直接if判断和is not None的区别
  2. Swift 4官方文档中文版 The Basic(上)
  3. Linux内核学习--内存管理模块
  4. IDE之Visual Studio Code:Visual Studio Code的简介、安装、使用方法之详细攻略
  5. c语言将0到1十等分放入数组,C语言课程设题计目汇总.doc
  6. STM32工作笔记0010---认识GPIO IO端口
  7. 数据结构与算法之树的进阶
  8. sha1校验工具android,安卓md5校验工具下载
  9. Bilibili缓存视频在电脑端直接打开方式
  10. 一键发圈,一键转发到微信朋友圈或者微信好友
  11. 2. java压缩tar文件
  12. TCAM CAM 说明 原理 结构 Verilog 硬件实现
  13. marvell 开发板Ubuntu镜像制作及配置步骤
  14. 小试牛刀 python股票查询程序
  15. (软考)软件设计师大纲
  16. 另辟蹊径的python学习手册(一)
  17. ST官网下载标准库STM32 Standard Peripheral (2022新版官网网页)
  18. 国开mysql答案_国开《3868MySQL数据库应用-0006》期末机考【答案】
  19. 【腾讯连连IoT开发大赛】基于TencentOS tiny云打印机智能达特甲醛探测系统
  20. 广发卡自动分期解读,以免入坑

热门文章

  1. windows2012 定时任务定时关闭EXCEL程序
  2. 《一个APP的诞生》20191101
  3. Linux内核配置选项 参考(2)
  4. DD镜像和E01镜像的主要区别
  5. 怎么清除矩形的下边框html,ps如何去除不要的东西 在工具箱内找到矩形选框工具...
  6. 商汤科技 java开发工程师 校招面经(已offer)
  7. WebSocket的心跳重连机制
  8. TS学习(八) :TS中的类
  9. 在js中对中文和特殊字符转码,js转码(转载)
  10. 《大众科学》杂志评出世界十大科学才子