双11个性化推荐背后，阿里云“舜天”如何应对百亿次挑战？ 1
2018天猫双11在技术世界，创下不少新记录，其中有一个记录是11日当天阿里全平台共为用户做个性化推荐453亿次，这些推荐的图片长度加起来可以绕地球70圈。
当你在天猫/手淘上买买买的时，图片会以不同格式或分辨率来转码呈现，这就要求后台系统需要强大的算力来保障数倍于平时的转码需求。FPGA是可编程芯片中处理这类并行计算的最佳能耗比方案，这位曾经高冷的“王谢堂前燕”，通过云计算的价值加成，正在赋能越来越多的科技创新。
在今年的XDF 2018大会上，阿里云的工程师首次向业界揭开了阿里云FPGA平台“舜天”的神秘面纱，这台云端计算加速的新引擎初露锋芒。
FPGA最大的特点是直接基于硬件编程，拥有高吞吐和低延时等特性，可以很容易搭建出数据并行通道，同时完成流水线并行；相对于ASIC，又具有软件的可编程性和灵活性，这让它能完美适应AI等对大算力有刚性需求并且尚处于快速迭代期的场景。
然而，传统的FPGA线下开发，过程非常繁琐。对于IP提供商或方案集成商来说，需要自己开发和维护硬件，推广难、成本高。对于客户来说，开发时也绕不开硬件环节，试错成本大、周期长。
FPGA+云正好是解决这些难题的最佳方案。
阿里云工程师张振祥介绍，
“舜天”平台整合了传统FPGA产业链的多个环节：从芯片原厂商，硬件，IP供应商等等，将它们统一打包成平台资源，使客户可以专注于算力的实现，而IP供应商可以简化交付流程，大幅优化交付周期和运营成本。
从2017年8月开始，“舜天”已经历经三代产品迭代，最新上线的F3系列实例，可提供超过1000万逻辑单元和高达47 TeraMACs的DSP计算能力。
以时序数据库为例，舜天平台的处理效率比CPU高出30倍以上：单路FPGA实现的实测峰值性能为2.97GB/s,相比之下，单核CPU压缩的实测性能约为90M/s。在图片识别场景下，舜天F3提供的算力约相当于7台CPU服务器，大幅降低了Capex成本，相比CPU服务器，TCO降低超40%。
而且，这个能力还可以扩展，当开发者在处理高性能计算和机器学习时，往往需要多芯片共同计算。“舜天”提供了各类高速接口，可完成1/2/4片芯片互联拓扑，并支持动态配置。以卡内双芯片通信为例，带宽高达600Gbps，同时支持多种轻量级传输协议，传输效率达95%。
/一睹真容：久经沙场的悍将/
在阿里巴巴内部，“舜天”其实已经久经沙场，支撑了包括双11在内的超大型计算场景、城市大脑、时序数据库、高清视频编解码等等明星业务都涉及FPGA加速。
以双11举例，在客户通过淘宝/天猫APP或者网页端浏览商品时，图片需要以不同格式或分辨率来呈现。舜天平台的并行计算能力，直接将图片处理的延时缩减到CPU服务器的50%，将吞吐能力提升了数倍。
在基因赛场里，“舜天“的表现也很出色，100Gbp全基因组分析时间被缩短至两小时，速度比过去提升了10倍，单位成本也大大降低。全基因，指的就是把物种细胞里面完整的基因组序列从第1个DNA开始一直分析到最后一个DNA，这种技术几乎能够鉴定出基因组上任何类型的突变。
/化繁为简：大幅降低开发门槛/
在传统软件工程师眼里，FPGA芯片的开发门槛是很高的，一方面需要了解HDL硬件编程，一方面需要对底层硬件和接口了如指掌。
在此次的XDF大会上，阿里云工程师潘岳介绍了舜天平台的解决方案。
首先，“舜天”增加了对高级系统语言的支持，包括C, C++, OpenCL等。这意味着开发者可以在他们熟悉的编程语言和工作流程中顺畅使用，而且确保原本基于CPU或GPU的开发可以轻松移植到云上的FPGA器件中。同时，阿里云还提供了大量的参考设计和开发包，帮助开发者快速建立系统。
接口方面，“舜天”提供了统一的标准总线接口，包括：DDR4/5、PCIe、DMA等等，开发者无需动手，只需要关心内部逻辑实现（图中灰色部分）。
此外，阿里云还支持多种主流FPGA的Shell+Role实现，可以适配跨平台的Multi-boot方案，让用户能够轻松完成跨平台迁移。
/IP加密隔离：安全不打折/
作为FPGA生态的最重要一环，IP厂商非常在意云上的多租户环境。既要需要确保IP产品不泄露，又要保证用户购买的IP只能被自己使用。
为此，阿里云采用了IP加密、网络隔离、IP所属权和使用权分离等方式确保了用户的源码（或IP源码）、发行包、部署环境全程对第三方完全不可见，同时还提供健康监控能力，及时感知底层故障并实时报警。
作为最早入住舜天平台的IP提供商之一，联捷计算科技CTAccel CEO俞海乐博士表示，
上云后安全是我们最关注的问题，阿里云的安全隔离做得非常到位，这也是我们优先选择阿里云进行部署的原因。
/不变的使命：共建普惠异构生态/
此前阿里云的Slogan“为了无法计算的价值”一直深入人心，积极布道普惠计算。自推出异构计算依赖，开发者在阿里云上能以更少的价格使用性能更强的GPU/FPGA实例，在深度学习领域将开发成本降低了一半以上。
为了让更多开发者能够享受到FPGA的收益，阿里云推出了FPGA弹性云服务器，并建立了FPGA镜像市场，让具有创新思路和成熟解决方案的IP产品通过平台脱颖而出，扩大市场规模，加快研发进度，提高设计稳定性。
张振祥说，
舜天是阿里云使能人工智能产业的一大利器，我们欢迎更多的开发者加入阿里云FPGA生态，推动技术落地到产业中去。
原文链接
本文为云栖社区原创内容，未经允许不得转载。
双11个性化推荐背后，阿里云“舜天”如何应对百亿次挑战？ 1相关推荐
- 双11个性化推荐背后，阿里云“舜天”如何应对百亿次挑战？
摘要: 2018天猫双11在技术世界,创下不少新记录,其中有一个记录是11日当天阿里全平台共为用户做个性化推荐453亿次,这些推荐的图片长度加起来可以绕地球70圈. 当你在天猫/手淘上买买买的时,图片 ...
- 爱“拼”才会赢，天猫双11拼团瓜分阿里云300万现金
有人说,天猫双11消费有多疯狂,云计算就有多火爆,"火爆"其实有两层寓意:其一是云计算支撑了这场盛大的购物狂欢节:另一方面,天猫双11的云产品逐渐成为了众多开发者以及中小企业关注的 ...
- 【阿里Q3财报：阿里云去年营收破百亿，亚洲市场遥遥领先】
2月1号晚间,阿里巴巴公布2018财年第三季度财报,阿里云保持持续强劲的增长,季度营收同比增长104%到35.99亿元.2017年累计营收突破百亿,达112亿,这是国内首次出现百亿规模的云计算服务商, ...
- 马云的双11计算机发展史图片,阿里张建锋：今年双11是机器和人一起来指挥
图1:阿里巴巴集团首席技术官张建锋 2017年11月11日零点刚过,阿里巴巴西溪园区1号楼的光明顶灯火通明.这里是天猫双11全球狂欢节的技术作战指挥室,空气中弥漫着轻松愉快的气氛.这和往年的紧张气氛截 ...
- OpenKruise：阿里巴巴 双11 全链路应用的云原生部署基座
来源 | 阿里巴巴云原生公众号 作者 | 王思宇(酒祝) OpenKruise 是由阿里云于 2019 年 6 月开源的云原生应用自动化引擎,本质是基于 Kubernetes 标准扩展出来一个的应用负 ...
- 揭秘 | 双11逆天记录背后的数据库技术革新
每一个数字背后 都需要强大的技术支撑 Higher, Faster, Smarter 是我们不变的追求 技术无边界 创新无止境 ▽ 关于数据库的双11 也许你还想知道 ▽ 2135亿!2018 双11 ...
- 销售系统如何主动获客？揭秘个性化推荐背后的技术支持
✏️ 编者按 一般来说,企业寻找行业客户时,需要先人工搜索企业信息,判断是否符合商务需求,然后开展下一步的商务联系.这套流程繁琐费时,也容易遗漏客户. 那么,有没有一套智能销售系统可以「主动获客」? ...
- 吉利2019年将推出首款飞行汽车；双11数据引京东阿里互怼|ServiceHot一周热闻
这几天关于京东和阿里的新闻可真不少~ >>>> 京东发了份"漂亮得不像话"的Q3财报 京东(Nasdaq:JD)11月3日发布了2017财年第三季度财报:净 ...
- 12月14日云栖精选夜读：活动推荐丨阿里云TechInsight论坛为什么这么火？
2019独角兽企业重金招聘Python工程师标准>>> 2017年12月19日将在北京国家会议中心举办阿里云TechInsight活动,这是一场针对开发者.架构师.以及技术与业务管理 ...
最新文章
- WebServieces 部署到PocketPC上的问题（SystemNotSupportException）
- photoshop学习笔记（一）2015-12-4【新浪云搬运】
- mui ajax 传递base64,HTML5 MUI 手机预览图片，裁剪上传base64，保存数据库
- 单招计算机专业考多少分可以录取,单招考多少分能过？单招分数线
- reboot重启失败的解决方法
- 树莓派lnmp安装mysql_在树莓派上安装 LNMP
- 什么是Python中的map，reduce和filter？
- android MVP框架
- jzoj2941. 贿赂
- 检查版本是否需要更新的Demo
- 新型肺炎数据，可以用Excel绘制成3维地图
- Vue-购物车简单案例
- Ubuntu下的几种常见输入法极其配置方式
- logout退出登录该用get方法还是post方法？
- 主要几个浏览器的内核是什么
- 数据可视化④：大学生就业可视化呈现
- 工作问题：SQL求解用户复购率
- 喜马拉雅下载器打赏页面
- 如何登陆计算机服务器,电脑服务器怎样登陆
- mysql数据库的简介(安装和卸载)