11.深入分布式缓存:从原理到实践 --- Aerospike原理及广告业务应用

Aerospike 中个性化推荐广告的应用:用户行为日志收集系统收集日志后推送到ETL做数据的清洗和转换，把ETL过后的数据发送到推荐引擎计算每个消费者的推荐结果，其中推荐逻辑包括规则和算法两部分，具体的规则有用户最近浏览，加入购物车，加入收藏等，算法则包括商品相似性，用户相似性，文本相似性，图片相似性等算法。把推荐的结果存入Aerospike集群中，并提供给广告投放引擎实时获取。Aerospike 在实时竞价广告中的应用:术语：RTB(RealTime Bidding) 实时竞价：一种利用第三方技术在数以百万的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。与大量购买投放频次不同，实时竞价避免了无效的受众到达，针对有意义的用户进行购买。它的核心是DSP(需求方平台)平台，RTB对于媒体来说，可以带来更多的广告销量、实现销量过程自动化以及减低各项费用的支出。而对于广告商和代理公司来说，最直接的好处就是提高了效果与投资回报率。DSP(需求方平台)：需求方平台允许广告客户和广告机构更方便的访问，以及更有效的购买广告库存，因为该平台汇集了各种广告交易平台、网络广告、供应方平台，甚至媒体的库存。有了这一平台，就不需要再出现另一个繁琐的购买步骤---购买请求。Ad Exchange(广告交易平台)：一个开放的，能够将媒体主和广告商联系在一起的在线广告市场(类似于股票交易所)。交易平台里的广告存货并不一定都是溢价库存，只要媒体主想要提供的，都可以在这里面找到。DMP(Data-Management Platform):数据管理平台能够帮助所有涉及广告库存购买和出售的各方来管理数据、更方便的使用第三方数据、增强他们对所有这些数据的理解，传回数据或将定制数据传入某一平台，以进行更好的定位。SSP(Sell-SidPlatform,供应方平台)：供应方平台能够让出版社也介入广告交易，从而使它们的库存广告可用。通过这一平台，出版商希望他们的库存广告可以获取最高的有效每千次展示费用，而不必以低价销售出去。供应方平台，是站长服务平台。站长们可以在SSP上管理自己的广告位，控制广告的展现等。UserProfile(用户画像):用户画像就是把人的属性(用户的属性)数字化，变成机器可理解的方式。用户画像是根据用户的社会属性，生活方式和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作即是给用户打上合适的标签，而标签是通过对用户信息分析得来的高精度精炼的特征标识。过程:当一个用户浏览一个加入SSP(供应方平台)的站点时，SSP会把此次请求发送到AD Exchange(广告交易平台)，然后ADX会把这次请求发送给多家DSP，DSP(供应方平台)根据自身的DMP(数据管理平台)，通过此次用户的了解程度进行竞价，最终竞价胜出的DSP获得展现广告的机会。DSP竞价胜出的关键是DMP能够根据用户的浏览历史等数据分析和定位用户属性，其中实时竞价广告中非常重要的一环节就是UserProfle(用户画像)。实时决策流程：分别通过HDFS和HBASE对日志进行离线和实时的分析，然后把用户画像的标签结果存入高性能的NoSQL数据库Aerospike中，同时把数据备份到异地数据中心。前端广告投放请求通过决策引擎(投放引擎)向用户画像数据库中读取相应的用户画像数据，然后根据竞价算法出价进行竞价。竞价成功之后就可以展现广告了。而在竞价成功之后，具体给用户展现什么广告，就是上面说的个性化推荐广告来完成的。在用户画像系统中，缓存主要用来存储用户(设备)的标签属性，根据不同的定向规则，定义的缓存数据格式不同。根据上图可知，用户数据统一存储在缓存库UPF中，然后根据用户ID的加密类型(加密方式有md5,sha1,明文)分不同的缓存表，同时也会为每一个第三方adx请求过来的数据建立一个缓存库，主要的作用是为了多方数据的打通和互相利用。接下来主要是根据数据和运营情况，根据不同的定向条件筛选用户人群，比如对用户的兴趣、用户的消费能力、性别、是否有转化等多个维度进行描述。同时，也会对不同的行业比如金融、游戏、电商等划分不同的定向条件。用户画像架构：此应用架构包含实时标签引擎和离线标签引擎两个主要部分，这样设计的原因主要是处于系统投入的成本来考虑的。离线标签引擎通过基于HDFS的HIVE/SPARK 对设备的APP安装情况，以及广告投放的效果数据，根据规则和算法，然后把标签数据缓存于AS CACHE中，这里的AS 就是Aerospike。然后提供给广告引擎做精准广告投放的判断依据。通过离线计算的数据和日志主要都是数据量大，而且实时要求并不是很高，比如说广告请求日志，竞价日志等；而实时标签引擎则主要处理效果数据等，对实时性要求比较高的数据，比如广告展现、点击、转化数据等。对于ADX渠道而言，由于对接的渠道数据各有各的特点，需要区别对待。从设备标识来讲，有些渠道的设备标识是明文的，而有些是通过md5或者sha1加密，比如像bat这样的流量渠道把用户的设备ID通过加密的方式传给DSP，为了尽量把这些数据都利用起来，则需要把这些数据分别存放在不同的缓存库中，如SHA1USER 和 MD5USER 用来存储通过sha1和md5加密的渠道设备数据。如果渠道设备ID是明文的，则要通过加密后分别保存到SHA1USER 和 MD5USER 中，以供各渠道之间进行用户数据的共享，终极目的离不开完善人群库，提高广告的精准度。

11.深入分布式缓存:从原理到实践 --- Aerospike原理及广告业务应用相关推荐

分布式缓存存储算法与实践思考
最近遇到一个问题,可能很多人也遇到过:由于业务量的增长,缓存节点个数不够用了.现在的Redis-Cluster直接就加个节点就解决了,但是之前Redis-Cluster不稳定时,我们并不敢用这个,而是 ...
蚂蚁京东新浪10位架构师424页佳作深入分布式缓存从原理到实践
前言最近刷到了一句耐人寻味的话,"解决雪崩问题的最好办法是不发生雪崩". 不论是在硅谷互联网公司里还是在国内的互联网平台上,曾多次遇到过海量规模的交易瞬间吞噬平台的悲惨故事. 核 ...
深入理解分布式缓存设计
欢迎关注方志朋的博客,回复"666"获面试宝典前言在高并发的分布式的系统中,缓存是必不可少的一部分.没有缓存对系统的加速和阻挡大量的请求直接落到系统的底层,系统是很难撑住高并发 ...
分布式缓存，就该这样设计！
‍‍‍文章来源:https://sourl.cn/Sejspk 前言在高并发的分布式的系统中,缓存是必不可少的一部分.没有缓存对系统的加速和阻挡大量的请求直接落到系统的底层,系统是很难撑住高并发的 ...
大厂都拿捏的缓存方案，平台级分布式缓存，什么业务才合适？
所有程序猿都对那缓存并不陌生,好似那风一样的女子只为你独自而舞.只见那回眸一笑百媚生,让你甚是吝惜,惹人怜爱. 但随着项目规模不断增大变强,光是单个缓存就难以招架,优而显得力不从心. 这时伴随着多级缓 ...
大厂都咋用平台、分布式缓存？起码你要懂技术，高级还得懂业务
所有程序猿都对那缓存并不陌生,好似那风一样的女子只为你独自而舞.只见那回眸一笑百媚生,让你甚是吝惜,惹人怜爱. 但随着项目规模不断增大变强,光是单个缓存就难以招架,优而显得力不从心. 这时伴随着多级缓 ...
RGBD融合原理及实践
RGBD融合原理及实践前言原理部分实践前言好久没更新博客了,主要是因为懒,最近有些得闲,决定纪录下之前的工作.RT,RGBD数据融合其实就是将3D摄像机的RGB与Depth数据做融合显示的过 ...
《深入分布式缓存：从原理到实践》
喔家ArchiSelf 入行20多年来,有了一次不同寻常的尝试,虽然只是合力出了一本书. 时间回溯到2016年, 最初出于挖人的险恶用心,进入了一个名叫"中生代技术"的技术群.本以 ...
分布式缓存的25个优秀实践与线上案例 done
杨彪,蚂蚁金服技术专家,<分布式服务架构:原理.设计与实战>和<可伸缩服务架构:框架与中间件>作者.近10年互联网和游戏行业工作经验. 本文节选自即将出版的<可伸缩服务架 ...
《从Paxos到zookeeper分布式一致性原理与实践》笔记
<从Paxos到zookeeper分布式一致性原理与实践>笔记文章目录 <从Paxos到zookeeper分布式一致性原理与实践>笔记一.概念二.一致性协调 2.1 2P ...

11.深入分布式缓存:从原理到实践 --- Aerospike原理及广告业务应用

11.深入分布式缓存:从原理到实践 --- Aerospike原理及广告业务应用相关推荐

最新文章

热门文章