2020的双11狂潮已然提早,年度氪金剁手大会已吹响号角。

比起往年,今年格外不同,天猫双11早在10月21日便揭起预售大幕,8亿人蹲守淘宝直播,仅当日的李佳琦直播间,观看人次就突破了1.5亿,直至10月31日,连续长达10天的明星直播间和品牌商家总裁连麦均是亮点。无疑,淘宝直播在双11期间发挥巨大作用,而电商直播已俨然成为标配输出。

与此同时,跨境电商也参与到了直播带货中来。被称为“国际版淘宝”的阿里巴巴跨境电商平台“速卖通”,面向海外买家,其平台商家也非常希望能更好地利用直播沟通把商品卖到海外。但直播时的语言成为一大问题,外国人听不懂我们卖什么,我们不明白外国人想要什么,这中间的gap很难在直播场景下融通。而实时语音翻译字幕,就打通了商家国外直播带货的任督二脉。

这项技术是由阿里云视频云与达摩院共同研发而成,以实时字幕技术和AI能力实现直播电商场景下的实时“语言”翻译,以214种语言的实时翻译字幕,大规模应用于此次双11,掀起全球性的双11热潮。


阿里云视频云的实时字幕技术,要做到字幕与主播的语音、画面同步输出,才能满足直播时的翻译和理解需求。那么**直播实时翻译字幕能否真的做到“实时”呢?答案是肯定的。说起实时,肯定要谈论“延迟”的概念,一般延迟是指推流端到播放端的全链路端到端延迟时间。**当下互联网直播关于直播延迟的大概定义范畴如下:1) 延迟直播:20s以上,一般是广电行业为了监播管控的需要,而做的故意延迟。2) 准实时直播:10s-20s,一般使用HLS/DASH等切片流式直播。3) 实时直播:5s-10s,一般使用RTMP/http-flv流式直播。4) 低延迟直播:2s-3s,一般使用srt或者其它UDP等传输协议的流式直播。5) 超低延迟直播:1s-2s,比如阿里云视频云的提出的RTS直播,大概在1s左右的延迟。直播的延迟和链路的传输协议有很大关系,当然也和链路每个环节的缓冲有关系,我们先看看端到端的链路,看看哪些环节可能产生延迟:

从上面的链路延迟图可以看到,理论上最小延迟可以在500ms。如果减少云厂商内部链路,不走中心,比如上行和下行都是一个节点区域(边缘节点),理论上可以在200ms左右。而直播时AI翻译处理一般部署在中心,或者边缘节点,能否实时,就要看AI翻译引入的延迟链路了:

实际上就当前AI翻译模块是能够实时的,但是由于每个人说话的断句(停顿)以及语音的不标准以及重复冗余字符(比如额、嗯等等)等等各种因素,导致语音识别需要一定语音量缓冲和上下文环境理解,才能够识别字、词、短句正确。而语音翻译需要根据识别后的文字进行翻译,一旦文字识别错误,(特别是同音不同字也不同义的)进行翻译后,会错的很离谱,当然翻译本身也是非常复杂的。所以识别模型、文字处理模型、翻译模型都需要针对特定场景进行针对性训练。但是模型本身的计算不会引入多少延迟的,而另外两个延迟的引入是在字、音、画同步以及二次编码上,同时为了兼容某些语速较快的人,确保字符能够显示一定的时长,需要加些延迟。可以依据整个链路延迟来看,AI翻译直播的端到端理论延迟可以在1s左右,完全满足直播时翻译字幕对“实时”的需求。回顾全球速卖通的实时语音翻译,是由阿里云视频云提供全链路解决方案,进行客户直播流的接入、直播流的语音分离、语音识别获取字幕、然后字音画同步、合成展示,最后分发。从而通过速卖通的跨境直播,让全球用户越过语言障碍,深度参与直播互动。

不仅是电商直播场景,包括游戏直播也可以加入实时字幕和翻译,如正在火热进行的2020英雄联盟S10全球总决赛,国内直播平台斗鱼,就采用了阿里云视频云云导播台的成熟的实时语音字幕方案进行直播,赛场解说语音通过AI实时识别转化为字幕,输出导播到直播画面上,全新提升直播游戏的观感体验。阿里云视频云的实时字幕技术,早已完成产品化,并整合到了云导播台中。欲了解,可前往阿里云官网,搜索“视频直播”、“云导播台”。

阿里云视频云将对更多场景、更多维度进行技术探索,推动新内容与新交互的未来,给大家带来更多的视频云体验。

阿里云视频云技术公众号分享视频云行业和技术趋势,打造“新内容”、“新交互”。

双11购物节国外剁手党同狂欢 阿里云视频云电商直播实时字幕相关推荐

  1. 四国外交官变身天猫双11“首席惊喜官”,给剁手党们送快递

    1682亿!2017天猫"双11"交易额超过去年的1207亿元人民币,再次创下新纪录. 在创造数字神话的同时,天猫还在给消费者带来神秘的福利惊喜. 双11当天,四位来自阿根廷.新西 ...

  2. 护航Lazada双11购物节 阿里云CDN全球化火力全开

    2018年11月12日零点--东南亚最大的电子商务公司Lazada 2018双11购物节正式收官.这是一场超过2000万的消费者在Lazada网站上及APP上浏览和疯狂抢购的盛会. Lazada是东南 ...

  3. 【报告分享】2009-2019年“双11”购物节关键数据盘点与发展趋势分析报告.pdf(附下载链接)

    不知不觉"双11"购物节已经十周年了,你还记得当年的光棍节吗?今天就来给大家分享并回顾下这个中国特色的节日. 今天分享的报告来自前瞻产业研究院于2019年11月发布的主题研究报告& ...

  4. 2022年天猫双11购物节,10月24日晚8点预售来袭

    2022年天猫双11购物节,10月24日晚8点预售来袭 这对于爱网购的小姐姐们一定都知道接下来会发生什么事情了,双11第一波预售将至,我们可以为买衣服鞋帽做清单了,据天猫的微博了解,2022年的天猫双 ...

  5. 2021年京东双11购物节如何买才能最优惠?京东双11优惠规则规则

    2021年京东双11购物节如何买才能最优惠?京东双11优惠规则规则 2021年"双11"已经打响了第一枪.10月17日,京东举行"双11"大促发布会," ...

  6. 双11购物节火热,谨防木马乘机而入

    腾讯电脑管家 · 2015/11/12 16:24 0x00 概况 近期11.11购物节,无数的网页.软件都充斥着"血拼双11"的广告,这时的电脑桌面如果多了几个双11相关的快捷方 ...

  7. 双11中国包裹提速10天到欧洲 菜鸟东莞-列日中欧公路电商专线首发

    千百年前,驼铃叮当的商队撑起了古丝绸之路沿线的贸易繁华.今天,一辆辆"卡车驼队"沿中欧公路从中国东莞一路北上,栽着跨境商品跨越亚欧大陆,续写加速度的"快递丝绸之路&quo ...

  8. 揭秘双11丝滑般剁手之路背后的网络监控技术

    简介:本篇将重点介绍Hologres在阿里巴巴网络监控部门成功替换Druid的最佳实践,并助力双11实时网络监控大盘毫秒级响应. 概要:刚刚结束的2020天猫双11中,MaxCompute交互式分析( ...

  9. 双11之后,国际、大型、创业、传统、搜索等电商架构首次深度较量

    双11异常火爆,不管是销售数字,还是用户体验,这次全民购物狂潮再次刷新了过去的所有记录.而在这一切背后,需要稳定高效的系统架构设计来提供有力支持.为此,我们在11月18日-20日,中国软件开发者大会上 ...

最新文章

  1. linux设置终端颜色256,如何设置我的Linux X终端以便Emacs可以访问256种颜色?
  2. spring boot + redis 实现网站限流和接口防刷功能
  3. vue页面绘图_利用vue制作在线涂鸦板
  4. 如何转换和输出超大整数(64位)
  5. Android中SQLite的使用
  6. Django的路由系统
  7. 成功解决TypeError: ‘str‘ object is not callable
  8. 【程序人生】这一年 —— 2020
  9. 2个在Java中将Byte []数组转换为String的示例
  10. 前端学习(1777):前端调试之websql原理和查看
  11. java相等_Java 判断相等
  12. java项目eclipse上tomcat部署后项目添加不进去
  13. oracle trunc()函数用法
  14. (7)zabbix资产清单inventory管理
  15. 改变Oracle 默认显示格式
  16. SQL 插入时直接插入当前时间
  17. Windows部署WSUS补丁服务器
  18. 【WLAN从入门到精通-基础篇】第9期——直接转发和隧道转发
  19. C:\inetpub\logs\LogFiles\W3SVC1
  20. 《构建高性能Web站点》

热门文章

  1. 韩国区块链盛宴,带你穿越牛熊,重构世界
  2. 十八、Component 父子组件关系
  3. 哪吒票房破30亿,这部国漫,重刷N次,仍泪流满面……
  4. android11怎么分屏,iOS11分屏怎么用?iOS11分屏具体操作方法
  5. 2008北京奥运最感人的一幕
  6. 亚马逊店铺托管代运营能做什么
  7. php 数组设置为空,php - 如果数组为空,跳过foreach的最干净的方法
  8. offer(第二版)2021-06-02
  9. c语言合法的浮点数e3,下列哪些是不合法的浮点数的选项是 123 2e4.2 .e5 -e3 .234 1e3...
  10. dota2起源1和2引擎区别_DOTA2正式启用起源2引擎 “强制”使用或引玩家反感