孙玄:转转如何打造AI工程架构体系
2018年5月18-19日,由51CTO主办的全球软件与运维技术峰会在北京召开。此次峰会围绕人工智能、大数据、物联网、区块链等12大核心热点,汇聚海内外60位一线专家,是一场高端的技术盛宴,也是顶级IT技术人才学习和人脉拓展不容错过的平台。
在“容器下的AIOps”分会场,转转公司首席架构师/架构算法部负责人孙玄做了主题为《转转如何打造AI工程架构体系》的精彩演讲。演讲核心内容涉及转转AI工程体系中,推荐与搜索架构、召回与排序算法的演进。
基于微服务架构的转转二手交易平台
“一个帮你赚钱的网站”是转转二手交易平台的定位,主要解决从买买买到卖卖卖的问题。在共享经济的情况下,大家可以把闲置的手机、电脑等物品,通过转转二手交易平台卖出去,赚一些零花钱。转转二手交易平台整体架构设计采用微服务架构,于2015年11月12号发布。
图1 转转总体微服务架构图
如图1所示,可以直观的看到整个架构从左到右进行了垂直拆分,又对从上到下进行了水平分层。架构还设有网关、业务逻辑层、数据访问层、数据存储层、注册中心和配置中心等部分。基于转转总体的微服务架构,孙玄又针对推荐与搜索这两大架构的演进做了详尽的阐述。
推荐架构的演进
转转二手交易平台的推荐场景分为用户和商品两个维度。用户进入首页后看到的“看推荐和逛附近”两个板块以及点击分类之后看到的“为你推荐”板块,这三部分属于用户维度。“相似商品“推荐板块属于商品维度。
图2 用户维度和商品维度场景推荐
这些推荐场景背后的技术架构是如何打造的呢?接下来,让我们来看看转转二手交易平台推荐架构的演进。
转转二手交易平台推荐架构的演进可分为“石器时代”、“铁器时代”和“工业革命时代”三大阶段。
石器时代
推荐架构最开始0到1的过程,称之为石器时代,如图3所示。
图3 “石器时代”架构图
在“石器时代”所有的用户进入首页,都会看到同样的推荐内容。用户请求通过转转APP统一网关接入到推荐业务逻辑层进行一系列操作:如参数验证,拼装搜索请求参数等,最终访问搜索引擎。搜索引擎会进行召回和排序,并把结果返回给推荐业务逻辑层,业务逻辑层进行结果过滤、去重打散、渲染返回结果到APP客户端。
总结来说,“石器时代”的特点有全局推荐、无个性化、召回源单一、基于人工规则排序以及不支持线上ABTest等。
铁器时代
在“铁器时代”首要解决的问题就是个性化推荐,如图4所示为此阶段的架构图。
图4 “铁器时代”架构图
“铁器时代”整个架构最大的变化在于物理分离推荐排序层和召回层。召回层,“铁器时代”做了很多和个性化推荐相关的事情,如计算用户商品特征、计算商品相似度和用户实时画像等等。总结来说,“石器时代”的特点是,第一引入了个性化召回源,第二记录了推荐来源血统,第三为用户的行为流程做了反馈,第四支持了ABTest分组实验。
工业革命时代
历经了两个时代之后,推荐系统的排序结果依然不是很理想,主要是因为排序层仅仅做了分层排序,并没有把多个召回源进行融合排序。“工业革命时代”的核心是实时化+机器学习驱动。
图5 “工业革命时代”架构图
如图5所示,在“工业革命时代”推荐排序层发生了较大变化,引入了统一的机器学习排序模型。如果要引入机器学习排序模型来排序,就需要一些基础设施支持,所以“工业革命时代”增加了推荐统一召回服务层,涉及统一召回服务和统一特征服务。
“工业革命时代”的推荐架构做到了特征、模型的实时化,秒级捕捉到用户对商品变化再针对性推荐商品,进而提升转化率。除此之外,架构内部做到了组件化,可以自定义DSL和灵活编排组件。
未来,推荐架构将实现全面流水线化(如图6),一键完成模型训练、模型上线,实现复杂模型持续集成、快速迭代,从而大大提升生产效率。
图6 转转推荐架构流水线图
搜索架构的演进
转转二手交易平台的搜索场景分为分类搜索和关键词搜索,如图7所示。
图7 分类搜索和关键词搜索
在转转二手交易平台中,搜索架构的演进分为三个阶段:规则、机器学习模型和平台化。
规则阶段
搜索架构的第一阶段是人工规则排序,如图8为规则阶段架构图。
图8 规则阶段架构图
规则阶段由搜索逻辑层进行请求参数处理,搜索访问代理层进行参数解析之后,进而访问搜索集群。搜索集群承担召回和排序两阶段。
规则阶段,所有的召回、排序规则都由人工来定,主观调参调权,并且不支持线上ABTest。最终线上搜索效果也是无法有效评估。
机器学习模型阶段
这些阶段,搜索架构主要引入了机器学习模型。如图9所示为机器学习模型阶段架构图。
图9 模型阶段架构图
模型阶段,最主要特点是机器学习化,不仅召回过程中采用了机器学习模型,在排序阶段,大规模采用机器学习模型。由简单模型进行召回粗排,复杂机器学习模型进行细排。此阶段还做到了Query预分析、ABTest分组实验和用户行为数据反馈等。
平台化阶段
搜索通常是一个中台的作用,很多业务线都会用到搜索功能,故搜索架构要实现平台化,如图10所示为平台化阶段架构图。
图10 平台化阶段架构图
平台化阶段最大的变化是Query改写、召回、预测、ABTest等功能服务化,在平台化之后,还要做到服务通用化。
未来,搜索架构致力成为大中台,通过云搜索引擎实现业务一键接入(如图11)。
图11 转转云搜索引擎架构图
算法演进
孙玄表示, 算法是为了解决召回和排序这两大问题,无论推荐、还是搜索场景均一样。
召回算法演进,可分为非个性化召回、基于兴趣召回、基于商品的协同过滤(Item-Based CF)和基于用户的协同过滤(User-Based CF)。排序算法演进,可分为基于人工规则、逻辑回归模型、GBDT+LR、Deep&Wide和FTRL。
算法未来演进将实时化和模型化。实时化方面,是针对特征的获取和模型的变更而言。模型化方面,是针对召回层和排序层模型的复杂度而言,未来模型越来越复杂,对工程架构带来的挑战也会越大。
电商AI体系未来
关于电商AI体系未来到底应该如何演进的问题,孙玄表示,本质还是解决好商品的匹配(召回问题)和排序(如图12)。排序方面,排序集相对少,架构挑战不大。匹配方面,涉及到海量商品候选集的问题,架构挑战较大。
图12 电商AI体系架构图
图13 电商AI体系提升质架构图
图14电商AI体系扩大量架构图
商品匹配问题如何解决?孙玄表示,从两方面着手:一方面是提升质(如图13),通过在召回层应用更加复杂的深度学习模型,提升商品召回的准确度;另一方面是扩大量(如图14),扩大匹配商品候选集,尽可能匹配出近全量的商品数据。
演讲人介绍
孙玄,现任转转公司首席架构师/架构算法部负责人,前58集团技术委员会主席,高级系统架构师,“架构之美”公众号作者。
以上内容是编辑根据孙玄在WOT2018全球软件与运维技术峰会的演讲内容整理。
孙玄:转转如何打造AI工程架构体系相关推荐
- 数字化转型:如何打造AI工程架构体系
基于微服务架构的转转二手交易平台 "一个帮你赚钱的网站"是转转二手交易平台的定位,主要解决从买买买到卖卖卖的问题.在共享经济的情况下,大家可以把闲置的手机.电脑等物品,通过转转二手 ...
- 【SDCC讲师专访】58同城孙玄:一切抛开业务的架构设计都是耍流氓
本期我们采访的讲师是来自58同城高级系统架构师&技术负责人孙玄,他是58的技术委员会架构组主任,产品技术学院优秀讲师,代表58同城参与多次对外演讲. 58同城高级系统架构师,技术委员会架构组主 ...
- 中国的“Databricks”们:打造AI基础架构,我们是认真的
AI落地最大的驱动因素是基础架构的升级. 近年来,大数据分析.AI等领域一直备受关注,常有引人关注的融资事件发生.美国数据科学公司Databricks刚刚在今年8月底完成了16亿美元H轮融资,其最新估 ...
- 微博广告推荐策略工程架构体系演进
导读:本次分享的主题为微博广告策略工程架构体系演进,将介绍微博广告在从0到1,从1到 N 的过程中,微博广告架构是如何支持策略.算法.模型迭代的,包括以下几部分: 概述 微博广告策略工程架构体系演进 ...
- 到「黄埔学院」去:打造AI首席架构师,第二期限量招募!
今年 1 月,百度联合"深度学习技术及应用国家工程实验室"成立黄埔学院,旨在为产业培养第一批"首席AI架构师".黄埔学院一期学员历时半年的学习和交流,6 月 1 ...
- 每日新闻:华为获首个微模块产品PUE测试证书;Linux发布Acumos AI开源架构平台;商汤技联手华侨城中学打造智能实验学校...
关注中国软件网 最新鲜的企业级干货聚集地 今日热点 华为获得全球首个微模块产品PUE测试证书 近日,第四届数据中心基础设施峰会在西安成功召开,会上,TGG(中国)副主席张松和中国信息通信研究院云大所高 ...
- 自动驾驶 | 全面解读小马智驾的解决方案「AI工程落地」
关注:耕智能,深耕AI脱水干货 作者:Pony.ai 来源:汽车电子与软件 转载请联系作者 "我们相信保持谨慎.严谨的理念与做法是通往未来的唯一正途,没有捷径.这种信仰正是指引我们研发.测 ...
- 一周AI看点 | 谷歌AI工程师说五年内实现人机对话,能实现吗;NASA开发AI竞赛无人机要挑战人类职业玩家,无需外部定位技术
本期一周AI看点包括行业热点.投融资.业界观点.技术前沿以及应用等方面. 01 行业 NASA开发AI竞赛无人机,欲挑战人类职业玩家 近日,NASA喷气推进实验室(Jet Propulsion Lab ...
- 孙玄辜教授:基于Linux内核的时间轮算法设计实现【附代码】
文章目录 1.时间轮算法基本思想 2.定时器的添加 3.定时器到期处理 孙玄:毕业于浙江大学,现任转转公司首席架构师,技术委员会主席,大中后台技术负责人(交易平台.基础服务.智能客服.基础架构.智能运 ...
- 零门槛!手把手教你打造AI应用
如你所见,聊天机器人已经逐渐渗透到生活的方方面面. 它可以提供生活娱乐方面的服务,比如查询音乐.地图.天气,做心理测试,甚至 Google 的 Duplex 技术还能让你通过机器人进行订餐,当然还有很 ...
最新文章
- ajax中的url如何传递变量_如何创建和参数化UDT数据类型中的变量及IN,OUT 等参数?...
- memcache协议
- Java算法之 一致性hash算法原理及实现
- 提升软文营销曝光量可从这几方面着手操作
- ava RMI 框架(远程方法调用)
- 【RecyclerView】 七、RecyclerView.ItemDecoration 条目装饰 ( getItemOffsets 边距设置 )
- Kafka无消息丢失配置
- HTML学习笔记2—列表与清单
- python智慧树章节答案_Python程序设计_知到智慧树_章节答案
- UCIPC2012-Red/Blue Spanning Tree解题报告
- triz矛盾矩阵_TRIZ—创新性问题解决理论与实务培训
- php 检测字符长度,php验证字符串长度问题
- UG NX 12 取消选择对象
- pygal:一款好用到爆的 Python 可视化利器,炫酷动态图轻松绘制
- Halcon之图像采集II
- Android游戏开发---碰撞检测
- html实现鼠标跟随,html5实现鼠标跟随
- Day 17 - YOLO 相关概念说明
- UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xca in position 24: invalid continuation byte
- 明厨亮灶监控系统解决方案,看得见的食品安全