引用

本文为作者个人的一些拙见进行整理后,对千人千面,智能推荐算法这套产品架构思维进行分析所写的文章,可能有所不足,还望各位进行指点 ,后面会写一篇关于怎么使用 ElasticSearch + Spark 来实现的千人千面的技术文章【ElasticSearch 整合 Spark 实现千人千面和智能推荐 ,敬请期待...

一、什么是千人千面

“千人千面”很容易理解,即找到对的人,用对的形式送达对的信息。目前,几乎所有的互联网头部产品都做了“千人千面”的规则推荐,以至于我们有时候看到自己不喜欢的内容时,反而会去怀疑自己是否真的不喜欢、是否有还未挖掘的兴趣偏好等。

互联网行业的快速发展,给我们带来了极大的便利。回顾整个互联网行业的发展历程,从PC时代到移动互联网时代,从移动互联网时代到IOT(物联网)时代,现在又即将从IOT时代迈入AI(人工智能)时代。这些飞速发展的背后,其实是对数据利用的巨大变革。

当下,移动互联网技术和智能手机的发展,使得采集用户数据的能力变得空前强大,无时无刻,无所不在。拥有这些数据后,全行业的个性化推荐能力变得更加容易实现,不论是淘宝京东,还是今日头条,无疑是这个时代的最大受益者。

不同于个人电脑,手机这类私人专属物品是与其他人很难共用的。从而手机的型号,以及在手机上的浏览、交易等行为数据,就具有了极高的分析价值。

从电商平台的角度来讲,个性化推荐的本质是根据不同的人群,将最有可能成交的商品优先推荐给相应的消费者,最大限度的提高购买转化率,促进用户购买下单。

当然,对于淘宝这类电商平台来说,个性化推荐也能充分利用有限的广告位资源,将流量的价值最大化。随着用户个人数据的不断丰富,推荐能力也在逐步升级,从基础的千人一面逐渐演化到千人千面。下面描述千人千面的具体业务逻辑、技术方案和推荐算法,以及需要注意的问题。

二、千人千面、智能推荐,具备什么市场价值呢?

客户运营平台

CRM: 企业为提高核心竞争力,利用相应的信息技术以及互联网技术来协调企业与顾客间在销售、营销和服务上的交互,从而提升其管理方式,向客户提供创新式的个性化客户交互和服务过程。其最终目标是吸引新客户、保留老客户以及将已有客户转为忠实客户,增加市场份额。

客户运营平台来自于CRM,是为商家打造的数据驱动的客户精细化运营平台,商家可以对自己的客户进行洞察和分群,同时可以针对自己的客户在各个沟通的通道上(店铺首页、详情、微淘、旺旺等)进行千人千面的沟通和表达。客户运营平台承载着从流量运营到客户精细化运营的使命。

个性化店铺首页

页面级千人千面,通过面向不同的客户人群投放不同的个性化店铺首页来提升转化效果。面向消费者部分,我们需要做实时偏好算法分群。因为是需要卖家参与设计对应人群的页面,所以不同商家效果有区别,做得好的商家,成交转化率能有50%的提升;面向商家部分,我们不仅仅是做一个工具,包括人群细分(年龄、性别)、个性化页面选择(属性偏好)、策略诊断(匹配度)、选品助手、效果跟踪,背后都是AI在支持。

店铺承接页包括三个模块。“所见即所得”,根据用户个性化进行推荐;楼层商品的个性化排序,商家可以参与选择;猜你喜欢瀑布流完全由算法帮助实现个性化推荐。对比有AI支撑承接页和没有AI能力的承接页,人均成交率提高20%以上。

旺铺个性化模块

商家可以通过场景化商品池实现多样化的营销需求,只要选择商品库,其余都可交给AI来做。这样,消费者端千人千面投放可实现高速转化,整个模块点击率平均提升20%,成交转化率提升超过40%,千次展现支付金额提升超过50%。



背后的技术就是图像技术与个性化投放的结合,商家可以自动选模板将商品放进去, 自动生成海报。

粉丝&会员运营算法

给商家易于运营的详情个性化访客运营工具,提升转化效果和客单价。给予商家自主权,可以自主选择在详情推荐模块放哪些商品。在商家端,操作成本低、可以批量覆盖多款商品,“一键升级”直接覆盖最多100款商品,并支持高阶配置(商品池、加权商品池);在消费者端,基于当前用户、当前商品的个性化投放,商家配置的加权商品能够获得曝光保障。详情个性化很好地将商家的确定性和个性化融合起来。



对粉丝/会员的深入洞察,进行分群剖析。我们也可以提供一些场景化的能力,比如粉丝个性化营销算法,提供高购买潜力粉丝、预流失粉丝等;对于会员个性化营销算法,提供预复购会员、预流失会员等人群;对于前端投放算法体系,提供投放时机算法和人群权益匹配算法,根据预测模型预测概率值。

B端产品

位于面向B端商家的电商媒体门户,旨在引入媒体、小二、服务商帮助商家紧跟行业动态、官方规则变化,以及实时的直播内容。

通过AI能力赋能千牛头条。资讯在千牛头条中很重要,实施个性化后,整个频道页个性化点击率有了很大提升,也提升了单个用户的资讯消耗率。

服务市场


面向商家,为其提供店铺、订单、营销管理等软件工具以及运营、客服外包、摄影等服务为一体的运营平台,是阿里生态体系的重要组成部分。很多服务商与我们一起为商家提供工具,通过AI能力进行赋能,使服务市场效果有显著提升。


数据赋能服务市场搜索,解决商家在服务市场“搜什么”、“搜不到”、“搜不准”、“搜不好”的体验问题。使之达到更精准的搜索体验、更高效的平台导购、更多优秀服务得到曝光。采用基于前沿的NLP技术的Query理解,基于语义的检索,也有数据驱动的自适应模型优化,个性化排序模型优化,还有实时个性化技术,热搜词挖掘、引导价值分析等。通过AI能力使搜索点击率增加25%,跳失率降低16%,付费转化提升20%。

二、是否全部CRM都需要呢?

在这样具备竞争性的的市场环境中,是否要随波逐流,全部“拿来”呢?我认为,企业首先需要考虑“千人千面”能够给自己带来的价值,核心在于以下两点:

第一,提升内容到用户的分发效率 。

如果使用人工策略或不使用任何策略,用户也能看到自己喜欢的内容,但搜索成本较高且需要用户承担;通过机器学习等智能策略,可以降低用户的搜索成本,实现内容到用户的分发效率提升。

第二,提升内部工作流程执行效率 。

部分企业常用手工方式跑运营闭环,从活动策划到执行,到监测,再到复盘,如果在此过程中采用数据智能,那么提升的不仅仅是工作效率,更对效果有正向驱动力。也就是说,企业需要将更多的时间花在策略调优上,而不是执行落地的过程。

也就是说,如果以上这两点的提升能够帮助业务增长,那就代表着企业可以着手去做了(如下图:)。

三、那如何去实现呢?

如下图所示,千人千面可以分为三个阶段:


接下来我们将从数据智能应用场景做进一步了解。

1.低阶:人工决策配合智能执行。

  • 场景一:计划营销,通常表现为单次性、周期性运营策略。

举个例子,电商企业在大促的前 7 天或者前 1 天,企业对用户的一次性信息推送就属于单次性计划营销;每个月的工资日、还款日的消息提醒需要重复、有规律地执行,这种就是周期性的营销。

  • 场景二:分层推荐,即基于用户分层的差异化展示。

当用户到达产品环境,企业可以有效利用分层推荐实现效果提升。常见的形式有:开机图Banner 图轮播图,这三种推荐的物品量级往往较少,且更新迭代速度较快,除此之外,在设计这三种推荐规则时基本上已经明确了目标受众。在这个场景中,采用人工决策基本上可以实现分层运营的目标。

2.进阶:人工与智能共同决策。

在此阶段,我们梳理出触点营销和精细化分层推荐两个场景。

(1)触点营销通常是指通过人工决定策略方向,机器辅助计算决定触发时机。

比如,当用户多次浏览产品但没有实现转化时,可以通过机器设置:在用户浏览产品 30 分钟后无购买行为的情况下及时触发优惠券推送等策略,提升用户转化效率。

再比如,对于新客来说,我们希望一步一步加深其对产品价值的体验,往往会在新客进入的第 1 天、第 7 天、第 30 天的时候进行用户触达,如果单纯依靠人工拉名单完成推送,耗时耗力,而通过机器实现对新客的行为追踪,就可以轻松实现特定日期的自动化推送。

(2)精细化分层是在产品内部,针对用户的个性化行为进行精细化推荐的过程。

举个例子,银行业的功能推荐菜单,一般包含 100 个以上的功能,当用户进入产品后很难第一时间判定哪个功能是该用户真正需要的,这个时候就需要企业针对这 100+ 个功能进行梳理,每个/每类功能适合哪些用户,然后基于用户过去一段时间的访问频率路径对功能展示进行排序,也就是说人工 + 智能共同实现精细化推荐。

3.高阶:从决策到执行到反馈,全流程智能推动。

提及“千人千面”,大家第一时间想得到的多数是全流程智能,也可以按照当下流行的机器算法、深度学习概念去理解。其应用场景如下:

  • 第一,智能营销,即基于算法程序实现的自动化、个性化营销,依靠机器识别并触发的营销推送,目前该场景还未广泛应用。

  • 第二,智能推荐,基于算法模型实现的个性化推荐,多用于信息流、相关推荐、热门推荐等。

企业落地“千人千面”的核心是 ROI,在此原则之下还有一些硬性条件:

  • (1)用户量级和物品量级。在神策智能推荐产品化的解决方案中,我们对于客户拥有的物品库有一定数量要求,低于 5000 的物品量级或者日活没有达到特定级别时,是不适合做算法推荐的。

  • (2)用户标签和物品标签的建设程度。在企业面向用户进行精细化运营时,如果没有足够数据支撑用户分层和识别物品特征,那么精细化运营的工作将难以开展。

  • (3)实时行为数据流。无论哪一个阶段的数据智能应用,都依赖对数据的实时收集,然后才有可能基于用户的浏览行为实现个性化推送。 在以上三点都满足的情况下,企业可以基于其现阶段的 ROI 决定场景及优先级。

四、具体实现想法

对于算法实现的“千人千面”来说,它的流程一般从数据系统开始,采集用户行为数据并灌输至算法推荐系统,经过一系列的处理,推荐最合适的结果,然后再将结果返回用户前端做展示,同时监测用户点击效果,以此判断本次推荐效果的质量,持续优化,形成算法推荐的完整闭环。如下图所示:

在以上闭环中,模型训练对于业务人员来讲是一个黑盒,它主要分为三个步骤:

  • 1.物品召回,针对用户个性化展示适合其看到的物品。

  • 2.排序,基于各种各样的判断条件对挑选出的物品进行排序,以确保其能够产生较好的曝光和转化效果。

  • 3.重排序,该阶段需要较多业务输入。举个例子,运营人员对于产品调性和多样性有一定的要求,比如某个用户更倾向于看与宠物相关的短视频,但很难有一个产品能够只播放宠物类视频,这就需要企业清楚认识到对长期用户行为的判断是否应该完全依赖于算法产出的短期效果。

例如,我们有1001,1002,1003,1004,1005,1006这六个用户,用户对商品的行为包括浏览、收藏、下单等。我们需要对用户行为赋予不同的权重分值,比如浏览为0.1分,收藏为0.5分,整体的行为分值表如下:

然后我们对这些用户在不同商品上的行为进行统计,得出下表。下表展示了用户对各个商品的偏好程度的分值,分值越高代表用户对商品的感兴趣程度越大。

而想用好算法推荐,需要基于算法的数据智能依赖于技术与业务的双重护航:

第一,高效运作的智能推荐系统。

首先,它的前提是可获取到准确的用户行为数据。

其次,算法模型本身。神策的算法功能,比有些客户之前用的自荐或其他模型写出的推荐效果更好,我们甚至没有进行深度调优,这就充分体现了算法模型本身的优越性。

第二,基于业务逻辑进行系统调优。

算法并不能帮助我们解决所有问题,其典型代表场景是冷启动。针对此,我提出两点建议:①从新用户进入产品前的渠道做信息和内容的承接,确保用户进入产品后,可以看到符合他预期和需求的内容;②设计好的策略主动向用户收集信息。

很多时候,算法并不依赖于用户标签和物品标签的建设,所以有的业务人员会忽略对标签建设的重视;但算法解决推荐问题的效果需要通过数据分析来做判断,本质上是对一个指标进行层层拆解的过程,如果用户画像标签/物品标签建设不完善,就会对推荐效率和质量的判断产生一定的影响。因此,虽然算法可以帮助我们解决很多问题,但同样要求我们重视本身数据的建设。

对于人工干预来说,它涉及到的通常是一些特定环节,比如,对于特定物品的封禁行为,参数调整,重排序阶段的策略等。

通过以上,我们可以了解到算法本质上要结合业务去实现,且有一定的门槛,具体表现在业务、技术和人三方面:

  • 1.业务模式是否适合用算法解决“千人千面”的问题。
    首先,算法的最大价值在于内容到用户的分发效率,那么企业的商业模式下对内容到用户的分发效率是否重视,影响力如何等。

然后,在业务发展的阶段,我们势必会优先建设内容以及拉新的动作,那么此时是否需要投入大量精力去做算法的系统,实现“千人千面”呢?

最后,物品量级和用户活跃数量是否达标。

  • 2.是否有足够的技术资源和大数据基础支撑企业做好算法、或通过其他形式实现“千人千面”。

  • 3.参与人员是否具备人工智能的理论与实践的能力。

在人工与机器智能落地方面,它的本质很好理解。首先,我们会基于特定的条件去挑选出满足条件的用户,往上可以跟一些通道系统、营销系统做对接,名单就会被自动推送,我们接下来要做的是发短信、推 push、发优惠券、发红包等一系列动作,这个是针对我们圈选的人群做的一些针对性运营设计;往下走可以对接内容营销,配置展示的内容以及顺序,通过人工决策指明方向,然后再由机器自动化去实现。


如何组建整体运营系统?我们可以从点、线、面三个层面对运营动作进行梳理:

:断点营销。梳理业务流程中用户流失原因,并针对性地做一些挽回措施。

比如用户访问理财详情页但并没有在指定的时间内完成转化,或者因为某些原因造成登录失败进而导致用户流失……梳理完用户行为流程之后,针对各个环节的流失风险针对性制定策略。针对访问未购买的用户,推送 push 为其推荐更加合适的理财产品;针对提交订单未支付的用户,站内 push 配合短信触达,发送优惠券等促成用户转化。

线:流程推进。面向特定功能、特定业务、特定活动去做的持续性推广,设计一些流程性的任务,比如在进行优惠券推送时,如果 5 元优惠券带来的转化效果并不好,那么改为推送 10 元的优惠券,根据效果层层递进,试探性地触达,所以该方法适合针对特定用户达成的目标需要做持续运营的场景。

:分层运营。通过对所有用户进行分层,规划每一个分层适合的运营方式,以此实现千人千面。业务人员通常不知道该如何着手设计运营计划,我们建议可以通过一个比较通用的模型,诊断产品现存问题,然后针对问题环节设计优先级较高的运营策略。

通常情况下,会分为以下两种场景:

场景一:基于产品外的推送,主动触达用户

举个例子,基于客户生命周期模型,在“拉新效果较好但转化不尽人意”的情况下,我们需要从新用户旅程中筛选出重点环节,制定拉新、激活转化、复购、流失召回等全流程的自动化运营策略;同时,也可以明确在激活环节的运营策略是否对转化提升有所帮助,洞悉运营质量与效果,提升运营效率。

场景二:配合产品内展示,提升用户转化

首先要对产品内的运营位进行梳理,在制定策略的时候重点体现用户分层运营,比如面向新老用户分别设置功能菜单运营计划、产品推荐计划等。在推荐计划设置和运营的过程中,可以结合用户标签体系,面向特定人群做差异化内容展示,实现千人千面。

综合来说,千人千面是一件有门槛的事情,具体在建设过程中需要注意以下问题:


1.数据基础及技术支撑

  • (1)推动用户和物品标签的建设;

  • (2)数据流和业务流的融合程度,它直接决定了我们制定策略以后,机器的执行效率和质量;

  • (3)通道建设与管理,这个是困扰很多运营人员的问题。在通道建设方面,可以选择优质的第三方工具、自建系统等,确保 push 能够被成功送达;在解决通道建设的技术难题后,需要选择合适的场景请求用户把通道打开;在打通触达用户的路径后,要注重对通道的管理,就像神策智能运营系统,它可以帮助客户主动选择某一时间段内对用户触达的次数等。

2.业务实战经验积累与复盘

  • (1)体系化的运营思路,基于上述方法论,梳理运营策略,以便于对全局运营有一个完整认知。

  • (2)效果验证与知识沉淀,通过机器进行效果记录和展示,打破人员流动带来的经验流失。其本质上是帮助我们提升策略上线效率和对结果评估效率的实时监测。

3.效率工具

效率工具如果能够发挥出价值,就可以直接实现低阶运营,即人工决策后,由机器执行释放人力成本,提升人工决策与评估效率。但在此过程中,效率工具需要具备以下能力:

  • (1)与数据和产品打通的可视化策略编辑能力;

  • (2)上线管理的能力;

  • (3)行动效果回收与评估的能力。

只有具备这三方面的能力,才能够帮助运营人员真正意义上提升工作效率,解放人力资源。

解读什么是千人千面算法、猜你喜欢、个性化推荐算法,相关推荐

  1. 千人千面智能淘宝店铺背后的算法研究登陆人工智能顶级会议AAAI 2017

    电商时代,消费者对推荐系统已经不再陌生."蓦然回首",你发现喜欢的商品就在首页显眼处. 如今,不仅仅是电商网站首页会给你贴心推荐.你逛进一家淘宝商家的店铺,也很有可能享受到推荐算法 ...

  2. 解读千人千面,企业如何做好个性化体验?

    专注于数字化营销的公司--Dot Digital曾做过一项调查,发现49%的客户会因为出色的个性化体验而产生"买买买"的冲动.由此可见,企业想要吸引更多客户,个性化的客户体验不可或 ...

  3. 淘宝千人千面背后的秘密:搜索推荐广告三位一体的在线服务体系AI·OS

    简介:揭晓三位一体的在线服务体系AI·OS,及其技术架构演进,技术概况,云原生产品与实践. 作者:阿里巴巴搜索推荐事业部高级研究员 沈加翔 一.三位一体的在线服务体系AI·OS介绍 AI·OS(Art ...

  4. 千人千面,撩拨你的个性化广告

    作者:詹坤林,58赶集集团TEG架构线智能推荐部负责人.算法架构师,前腾讯高级工程师,从事推荐算法和架构设计工作! 一,题记 58同城智能推荐系统大约诞生于2014年(C++实现),该套系统先后经历了 ...

  5. 【项目介绍】ElasticSearch7+Spark 构建高相关性搜索服务千人千面推荐系统

    我做的项目是在慕课网买的 项目介绍 项目需求背景:模仿大众点评应用提供用户线下搜索推荐服务门店的需求 技术选型:后端业务:SpringBoot:后端存储:MySQL.mybatis接入:搜索系统:El ...

  6. 个性化推荐算法实战第01章个性化推荐算法综述

    文章目录 个性化推荐算法实战第01章个性化推荐算法综述 1.什么是推荐系统? 2.个性化推荐算法在系统中所起到的作用 3.如何衡量个性化推荐算法在产品中起到的作用 4.推荐算法介绍 5.评估指标: 个 ...

  7. 淘宝号标签,,猜你喜欢推荐,消费潜力值,淘宝号的千人千面,购物足迹,潜在购买类目,淘宝号的潜在成交词,官方推荐的搜索词,淘宝标签查询,淘宝号是否打上标签,标签透视,标签接口,猜你喜欢接口,

    简介: 可以查询到指定淘宝号被淘宝推荐的搜索词,和猜你喜欢的词库和商品id库. 淘宝标签查询基于官方千人千面算法推荐,针对不同的消费者推送不同的潜在成交商品和可消费的金额. 实时查询买家曾浏览过.购买 ...

  8. 大数据算法_大数据算法解析,如何创建用户画像实现千人千面?

    " 一面科技,一面生活 技术与社交电商的完美融合 打开了全新的幸福视界 " 幸福蜜糖  2020·11·5 大数据算法无处不在 "处在如今的时代中,数据越来越值钱,如何 ...

  9. 如何破解“千人千面”,深度解读用户画像

    本文由神策数据资深算法工程师@邹雨晗原创.未经许可,禁止转载. 用户画像的概念大热,众多企业都希望通过"用户画像"实现数据驱动产品智能,但什么才是用户画像呢? 通过这篇文章,我们介 ...

最新文章

  1. Java.util.Date.getTime()出现负数的问题
  2. 平均分辨准确率对网络隐藏层节点数的非线性变化关系03
  3. window下不用安装虚拟机,也可以玩转linux,玩转最新redis
  4. html5手机网站照片查看器,HTMLayout仿Picasa照片查看器效果
  5. html对字符串判空,使用XslCompiledTransform获取html作为字符串。结果为空
  6. 1002. 写出这个数 (20)
  7. 【大数据】学习大数据前需要掌握的知识
  8. leetcode —— 面试题 17.12. BiNode
  9. 【入门2】分支结构 (今天刷洛谷了嘛)
  10. 4.13 | 学习笔记
  11. Linux上的redis安装和后台启动
  12. java线程基础_Java多线程基础
  13. 测网速还能拿奖励?测速 App 的新玩法
  14. oracle rac 创建ocr,转:Oracle RAC 添加和删除OCR(10g)
  15. 织梦采集插件,无需采集规则,补损值
  16. php右下角弹窗代码,2019畅言最新去除隐藏右下角弹窗广告!代码添加彻底隐藏畅言右下角广告代码...
  17. 字符编码集与ASCII码表
  18. 2021年江苏省高考数据统计:江苏省普通类报名人数30.9万人,本土167所高校(2所985大学)
  19. 厦门大学计算机系夏令营考什么,2018年厦门大学全校33个学院保研夏令营信息汇总,读研不止一条路...
  20. 叉积 微分 恒等式_单摆-微分方程浅谈

热门文章

  1. 小程序 uni-app picker-view改变选中行上下边框样式
  2. 为什么我如此反对【1.01的365次方和0.99的365次方】
  3. 魔域mysql下载,帮我看看 这句SQL语句,比较无语
  4. markdown语法与markdlint规则讲解
  5. 人工智能基础 | 回归分析(四)
  6. 想裸辞的N个瞬间,裸辞后又陷入焦虑!
  7. ajax302重定向,jQuery.ajax处理302重定向
  8. python编程设计教程课后答案_《Python程序设计》习题与答案-python教材答案
  9. iOS 获取手机序列号
  10. python queue 生产者 消费者_Queue: 应用于生产者-消费者模式的Python队列