深度学习核心技术精讲100篇(三十六)-EdgeRec:边缘计算在淘宝推荐系统中的大规模应用
前言
在全面进入无线的时代,为了解决信息负载的问题,越来越多的推荐场景得到兴起,尤其是以列表推荐形式为主的信息流推荐。以手淘信息流为例,进入猜你喜欢场景的用户,兴趣常常是不明确的,用户浏览时往往没有明确的商品需求,而是在逛的过程中逐渐去发现想买的商品。而推荐系统在用户逛的过程中,会向客户端下发并呈现不同类型的商品让用户从中挑选,推荐系统这个过程中会去捕捉用户的兴趣变化,从而推荐出更符合用户兴趣的商品。然而推荐系统能不能做到用户兴趣变化时立刻给出响应呢?
01
推荐系统中的痛点
推荐系统以往的做法都是通过客户端请求 ( 分页请求 ) 后触发云端服务器的商品排序,然后将排序好的商品下发给用户,端侧再依此做商品呈现。这样存在下面两个问题:
推荐系统决策的延迟:由于云端服务器的QPS压力限制,信息流推荐会采用分页请求的方式,这样就会导致云端推荐系统对终端用户推荐内容调整机会少,无法及时响应用户的兴趣变化。如下图所示,用户在第4个商品的交互表明不喜欢“摩托车”,但是由于分页请求只能在50个商品后,那么当页后面其他“摩托车”商品无法被及时调整。
对用户行为的实时感知的延迟:目前推荐系统的个性化都是通过把用户与商品交互的行为作为特征来表达的,但是用户的行为其实是发生在客户端上的,推荐系统模型想要拿到用户的行为特征需要把端上数据下发到服务端,此时就会造成延迟的问题,如下图所示用户行为的延迟可能会达到1min。于此同时,由于网络带宽延迟的问题,其他大量的用户细节行为(如商品的实时曝光、用户的滑动手势等)是无法进行建模的。
深度学习核心技术精讲100篇(三十六)-EdgeRec:边缘计算在淘宝推荐系统中的大规模应用相关推荐
- 深度学习核心技术精讲100篇(十六)-搜索引擎Indri系列之如何建立索引 (Indexing)检索评价 (Evaluation)
前言 在为文档集建立索引时,需要执行IndriBuildIndex path-to-to-index_parameter_file.这里的index_parameter_file是xml格式的参数文件 ...
- 深度学习核心技术精讲100篇(十九)--GBDT(梯度提升树) 和 Resnet (残差网络)的原理
残差 残差在数理统计中是指实际观察值与估计值(拟合值)之间的差.在集成学习中可以通过基模型拟合残差,使得集成的模型变得更精确:在深度学习中也有人利用layer去拟合残差将深度神经网络的性能提高变强.这 ...
- 深度学习核心技术精讲100篇(十四)-一文带你看懂GPflow的前世今生
什么是GPflow GPflow是一个高斯过程的工具包,接口部分由python实现,内部的部分计算则由Tensorflow实现. 主要特点有二个:一是使用变分推理作为近似方法,二是使用自动微分进行求导 ...
- 深度学习核心技术精讲100篇(十二)-DCGAN(对抗生成网络)算法应用及代码实现
前言 一次偶然看到一个换脸的视频,觉得实在是很神奇,于是饶有兴致的去了解一下换脸算法.原来背后有一个极为有意思的算法思想--对抗生成. 随后各种各样的GAN算法以指数级增长的方式涌现出来,比如WGAN ...
- 深度学习核心技术精讲100篇(十)-机器学习模型融合之Kaggle如何通过Stacking提升模型性能
前言 之前的文章中谈到了机器学习项目中,要想使得使得机器学习模型进一步提升,我们必须使用到模型融合的技巧,今天我们就来谈谈模型融合中比较常见的一种方法--stacking.翻译成中文叫做模型堆叠,接下 ...
- 深度学习核心技术精讲100篇(十五)-搜索引擎Indri系列之安装及使用
前言 Indri是Lemur项目衍生的一个基于语言模型的新的搜索引擎,由University of Massachusetts和Carnegie Mellon University合作开发. 安装 下 ...
- 深度学习核心技术精讲100篇(十八)-巨量数据下美团是如何实现数据治理的?
背景 大数据时代的到来,让越来越多的企业看到了数据资产的价值.将数据视为企业的重要资产,已经成为业界的一种共识,企业也在快速探索应用场景和商业模式,并开始建设技术平台. 但这里要特别强调一下,如果在大 ...
- 深度学习核心技术精讲100篇(六)-keras 实战系列之推荐系统FM(Factorization Machine)算法
前言 博主在之前的文章中介绍过使用keras搭建一个基于矩阵分解的推荐系统,而那篇文章所介绍的方法可能只是一个庞大推荐系统中的一小环节.而对于工业级别的推荐系统,面对极其庞大的产品种类数量,一步就输出 ...
- 深度学习核心技术精讲100篇(三十五)-美团餐饮娱乐知识图谱——美团大脑揭秘
前言 " I'm sorry. I can't do that, Dave." 这是经典科幻电影<2001: A Space Odyssey>里HAL 9000机器人说 ...
- 深度学习核心技术精讲100篇(三)-层次自适应的多臂老虎机决策算法 ( HATCH )在滴滴中的应用
前言 需要源码的小伙伴参见: Contextual Bandits 算法在推荐场景中的应用源码 https://download.csdn.net/download/wenyusuran/155784 ...
最新文章
- 使用HMTL5 API监控前端性能
- MS SQL SERVER中备份所有数据库
- php如何表格中的变为超链接,php中将网址转换为超链接的函数
- java8 注解: @FunctionalInterface (函数式接口)
- 领域应用 | 用知识图谱玩唐诗,“唐诗别苑”附庸端午节的别样风雅!
- 单例模式——java设计模式
- 《OpenCV 4.5计算机视觉开发实战(基于VC++)》示例代码免费下载
- 谷歌5款插件推荐:谷歌工具类、翻译类扩展程序
- ET框架---ClientFrameComponent学习笔记
- C++泛型编程——迭代器
- 努比亚 Z17(Nubia NX563J) 解锁BootLoader 并刷入recovery
- linux系统制作macos启动,如何手动制作macOS High Sierra可启动安装U盘
- 开源公告|更可信的人脸识别,腾讯优图TFace正式开源!
- My python learning
- 图形界面介绍Create Route Blockage
- import keras时遇到的错误 TypeError: Descriptors cannot not be created directly. If this call came from a _
- 服务器cpu和磁盘规律毛刺问题排查
- 计算机ip地址和用户名和密码是什么,登陆无线路由器的IP地址是多少?怎么查看登录地址...
- office安装包百度云
- python turtle画画 30排以内_想用Python乌龟画一个棋盘-我该怎么填每一个方格呢?...
热门文章
- javascript mobile web
- 用wget循环获取指定url下的文件
- C#事件回调委托EventHandler
- PAT甲级1069 The Black Hole of Numbers:[C++题解]模拟、6174
- 优先队列如何按照pair 的第二关键字排序(对比vector按照pair第二关键字排序)
- HP计算机管理软件,惠普电脑硬件诊断工具
- android+命令行编译,打包生成apk文件,Android 使用Android Studio + Gradle 或 命令行 进行apk签名打包...
- Android实训日志:基于外部存储的音乐播放器V06
- php获取citypicker的值,城市选择city-picker
- http响应最大时长 nginx_nginx反向代理时如何保持长连接