用户量总是上不去?

真的是因为推广力度不够、流量不够?

那进来的用户为什么流失辣么高?产品购买率辣么低?

为什么营销的内容总是没有人买单?

为什么...

其实这些问题归根结底就是:没有号住用户的脉。

如何号住用户的脉?分析他的一切路径、行为,并不断归类汇总,给用户贴上标签,找出用户的“族群属性”,这就是“用户画像”。

定义

用户画像(persona)的概念最早由交互设计之父Alan Cooper提出:“Personas are a concrete representation of target users.” 是指真实用户的虚拟代表,是建立在一系列属性数据之上的目标用户模型。随着互联网的发展,现在我们说的用户画像又包含了新的内容和意义,通常用户画像是根据用户人口学特征、网络浏览内容、网络社交活动和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作,主要是利用存储在服务器上的海量日志和数据库里的大量数据进行分析和挖掘,给用户贴“标签”,而“标签”是能表示用户某一维度特征的标识。具体的标签形式可以参考下图,即是某网站给其中一个用户打的标签。

目标

提取用户画像,需要处理海量的日志,花费大量时间和人力。尽管是如此高成本的事情,大部分公司还是希望能给自己的用户做一份足够精准的用户画像。那么用户画像有什么作用,能帮助我们达到哪些目标呢?大体上可以总结为以下几个方面:

1. 精准营销:精准直邮、短信、App消息推送,个性化广告等。

2. 用户研究:指导产品优化,甚至做到产品功能的私人定制等。

3. 个性服务:个性化推荐,个性化搜索等。

4. 业务决策:排名统计,地域分析,行业趋势,竞品分析等。

内容

用户画像包含的内容并不完全固定,根据行业和产品的不同所关注的特征也有不同。对于大部分互联网公司,用户画像都会包含人口属性和行为特征。人口属性主要指用户的年龄、性别、所在的省份和城市、教育程度、婚姻情况、生育情况、工作所在的行业和职业等。行为特征主要包含活跃度、忠诚度等指标。

除了以上较通用的特征,不同类型的网站提取的用户画像各有侧重点。以内容为主的媒体或阅读类网站,还有搜索引擎或通用导航类网站,往往会提取用户对浏览内容的兴趣特征,比如体育类、娱乐类、美食类、理财类、旅游类、房产类、汽车类等等。社交网站的用户画像,也会提取用户的社交网络,从中可以发现关系紧密的用户群和在社群中起到意见领袖作用的明星节点。电商购物网站的用户画像,一般会提取用户的网购兴趣和消费能力等指标。网购兴趣主要指用户在网购时的类目偏好,比如服饰类、箱包类、居家类、母婴类、洗护类、饮食类等。消费能力指用户的购买力,如果做得足够细致,可以把用户的实际消费水平和在每个类目的心理消费水平区分开,分别建立特征纬度。

另外还可以加上用户的环境属性,比如当前时间、访问地点LBS特征、当地天气、节假日情况等。当然,对于特定的网站或App,肯定又有特殊关注的用户纬度,就需要把这些维度做到更加细化,从而能给用户提供更精准的个性化服务和内容。

生产

用户特征的提取即用户画像的生产过程,大致可以分为以下几步:

1. 用户建模,指确定提取的用户特征为度,和需要使用到的数据源;

2. 数据收集,通过数据收集工具,如Flume或自己写的脚本程序,把需要使用的数据统一存放到Hadoop集群;

3. 数据清理,数据清理的过程通常位于Hadoop集群,也有可能与数据收集同时进行,这一步的主要工作是把收集到各种来源杂乱无章的数据进行字段提取,得到关注的目标特征。

4. 模型训练,有些特征可能无法直接从数据清理得到,比如用户感兴趣的内容或用户的消费水平,那么可以通过收集到的已知特征进行学习和预测;

5. 属性预测,利用训练得到的模型和用户的已知特征,预测用户的未知特征;

6. 数据合并,把用户通过各种数据源提取的特征进行合并,并给出一定的可信度;

7. 数据分发,对于合并后的结果数据,分发到精准营销、个性化推荐、CRM等各个平台,提供数据支持;

下面以用户性别为例,具体介绍下特征提取的过程:

1. 提取用户自己填写的资料,比如注册时或者活动中填写的性别资料,这些数据准确率一般很高。

2. 提取用户的称谓,如收件人或发件人中有提到的对方称呼,例如:xxx先生/女士,这个数据也比较准。

3. 根据用户姓名预测用户性别,这是一个二分类问题,可以提取用户的名字部分(百家姓与性别没有相关性),然后用朴素贝叶斯分类器训练一个分类器。过程中遇到了生僻字问题,比如“甄嬛”的“嬛”,由于在名字中出现的少,因此分类器无法进行正确分类。考虑到汉字都是由偏旁部首组成,且偏旁部首也常常具有特殊含义(很多与性别具有相关性,比如草字头倾向女性,金字旁倾向男性),我们利用五笔输入法分解单字,再把名字本身和五笔打法的字母一起放到LR分类器进行训练。比如,“嬛”字的打法:『女V+罒L+一G+衣E = VLGE 』,这里的女字旁就很有女性倾向。

4. 另外,还有一些特征可以利用,比如用户访问过的网站,经常访问一些美妆或女性服饰类网站,是女性的可能性就高,访问体育军事类网站,是男性的可能性就高。还有用户上网的时间段,经常深夜上网的用户男性的可能性就高。把这些特征加入到LR分类器进行训练,也能提高一定的数据覆盖率。

数据管理系统

用户画像涉及到大量的数据处理和特征提取工作,往往需要用到多数据来源,且多人并行处理数据和生成特征。因此,需要一个数据管理系统来对数据统一进行合并存储和分发。我们的系统以约定的目录结构来组织数据,基本目录层级为:/user_tag/属性/日期/来源_作者/。以性别特征为例,开发者dev1从用户姓名提取的性别数据存放路径为 /user_tag/gender/20170101/name_dev1,开发者dev2从用户填写资料提取的性别数据存放路径为 /user_tag/gender/20170102/raw_dev2。

从每种来源提取的数据可信度是不同的,所以各来源提取的数据必须给出一定的权重,约定一般为0-1之间的一个概率值,这样系统在做数据的自动合并时,只需要做简单的加权求和,并归一化输出到集群,存储到事先定义好的hive表。接下来就是数据增量更新到HBase、ES、Spark集群等更多应用服务集群。

应用示例

以电商网站的某种页面的个性化推荐为例,考虑到特征的可解释性、易扩展和模型的计算性能,很多线上推荐系统采用LR(逻辑回归)模型训练,这里也以LR模型举例。很多推荐场景都会用到基于商品的协同过滤,而基于商品协同过滤的核心是一个商品相关性矩阵W,假设有n个商品,那么W就是一个n * n的矩阵,矩阵的元素wij代表商品Ii和Ij之间的相关系数。而根据用户访问和购买商品的行为特征,可以把用户表示成一个n维的特征向量U=[ i1, i2, ..., in ]。于是U*W可以看成用户对每个商品的感兴趣程度V=[ v1, v2, ..., vn ],这里v1即是用户对商品I1的感兴趣程度,v1=i1*w11 + i2*w12 + in*w1n。如果把相关系数w11, w12, ..., w1n 看成要求的变量,那么就可以用LR模型,代入训练集用户的行为向量U,进行求解。这样一个初步的LR模型就训练出来了,效果和基于商品的协同过滤类似。

这时只用到了用户的行为特征部分,而人口属性、网购偏好、内容偏好、消费能力和环境特征等其他上下文还没有利用起来。把以上特征加入到LR模型,同时再加上目标商品自身的属性,如文本标签、所属类目、销量等数据,如下图所示,进一步优化训练原来的LR模型。从而最大程度利用已经提取的用户画像数据,做到更精准的个性化推荐。

【特别推荐】

你真的懂你的用户吗?相关推荐

  1. “三次握手,四次挥手”你真的懂吗?

    来源:码农桃花源 解读:"拼多多"被薅的问题出在哪儿?损失将如何买单? 之前有推过一篇不错的干货<TCP之三次握手四次挥手>,前几天有兄弟投稿,开始还以为是同一篇,后经 ...

  2. 程序猿修仙之路--数据结构之你是否真的懂数组? c#socket TCP同步网络通信 用lambda表达式树替代反射 ASP.NET MVC如何做一个简单的非法登录拦截...

    程序猿修仙之路--数据结构之你是否真的懂数组? 数据结构 但凡IT江湖侠士,算法与数据结构为必修之课.早有前辈已经明确指出:程序=算法+数据结构  .要想在之后的江湖历练中通关,数据结构必不可少.数据 ...

  3. 【原创】“三次握手,四次挥手”你真的懂吗?

    记得刚毕业找工作面试的时候,经常会被问到:你知道"3次握手,4次挥手"吗?这时候我会"胸有成竹"地"背诵"前期准备好的"答案&qu ...

  4. 你真的懂Redis的5种基本数据结构吗?

    摘要: 你真的懂Redis的5种基本数据结构吗?这些知识点或许你还需要看看. 本文分享自华为云社区<你真的懂Redis的5种基本数据结构吗?这些知识点或许你还需要看看>,作者:李子捌. 一 ...

  5. 你真的懂病毒式营销吗

    本文讲的是你真的懂病毒式营销吗, 无论我是在演讲还是在讲授,在讨论对于"病毒式营销"所带来的增长时,我都认为对于产品来说这是一个最好的吸引眼球和增加新用户的途径.它不但免费,而且可 ...

  6. 面试官问你Java线程池--怎么样回答才能让面试官知道你真的懂了!

    一.引言 不管是Java面试还是Android面试,线程池都是面试官高频考察的点,那我们怎么回答,才能让面试官了解到我们是真的懂Java线程池了呢?这篇文章不涉及到线程池的使用和原理,如果你还不知道怎 ...

  7. 3G、4G、5G有何不同之处,你真的懂吗?

    3G.4G.5G有何不同之处,你真的懂吗? 3G技术还未远去,4G技术方兴未艾,5G技术已蓄势待发.本文从技术层面全面解析了关于3G.4G.5G的不同之处:1.无线通信传递媒介:电磁波,2.无线通信传 ...

  8. 示波器_你真的懂示波器嘛?面试中会用到的示波器知识

    示波器是电子工程师经常使用到的电子测量仪器,用途十分广泛,可将肉眼看不见的电信号变换成看得见的图像,便于人们研究各种电现象的变化过程.利用示波器能观察各种不同信号幅度随时间变化的波形曲线,还可以用它测 ...

  9. 【转】先说IEnumerable,我们每天用的foreach你真的懂它吗?

    [转]先说IEnumerable,我们每天用的foreach你真的懂它吗? 我们先思考几个问题: 为什么在foreach中不能修改item的值? 要实现foreach需要满足什么条件? 为什么Linq ...

最新文章

  1. 面向过程(或者叫结构化)分析方法与面向对象分析方法到底区别在哪里?
  2. AI大牛周明打造的轻量“孟子模型”开源!靠10亿参数冲上CLUE榜第三,可用于新闻分类、文案生成...
  3. python字符串find函数实现_python中实现查找字符串的find函数
  4. 双向最大匹配算法(含完整代码实现,ui界面)正向最大匹配算法,逆向最大匹配算法
  5. 关于养花---感叹一把
  6. ELK学习7_ELK文档资料:《ELK stack 权威指南/饶琛琳》勘误
  7. linux文件编程(1)—— open、write、read、lseek、阻塞问题
  8. java版本号分段比较_Java实现比较版本号
  9. 16-mysql-dml语言-增删改数据
  10. Python demjson 下载并安装
  11. jni开发-java调用c函数,c调用java函数实现
  12. 关于MSDTC - 与基础事务管理器的通信失败 错误解决的小备忘
  13. 10月24号、25号、26号三天PC端云音乐项目总结
  14. Github Page搜索工具更新 - 收藏,手气不错
  15. 复制百度文库的文字加什么后缀_下载百度文库文档 怎么快速提取百度文库中可以完整阅读的文档...
  16. Python 加密 shellcode 免杀
  17. 贵州高考成绩查询时间2021具体时间,贵州高考成绩一般公布时间 2021贵州高考成绩什么时候公布...
  18. Timeline调用实质
  19. 关于springboot整合log4j2的史上最全配置解释
  20. 2020牛客暑期多校训练营(第八场)E.Enigmatic Partition(差分+隔项差分/dp+暴力)

热门文章

  1. 树复制替换id_程序员的进阶课-架构师之路(12)-2-3-4树
  2. SpringMVC(二)——转发和重定向、处理前端请求的数据(普通字符串/对象)
  3. JavaWeb(四)——在IDEA中配置Tomcat、pom文件
  4. android助手专业版,开发助手专业版 v5.6.1-cs for Android 直装付费专业版
  5. flash 林度_flash动画的视频应用
  6. 机器人学习--栅格地图(occupancy grid map)构建(部分代码解析)
  7. SLAM学习--视觉slam学习教材推荐(附相关技术文档下载链接)
  8. MFC子窗口和父窗口(SetParent,SetOwner)
  9. 函数调用规范__cdecl和__stdcall的区别
  10. SQLite 3 一些基本的使用