搜狗发布全球首个手语AI合成主播,用技术造福听障人群
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
看央视新闻,你一定对“段子手”朱广权逼疯手语老师的画面印象深刻吧。
手语新闻帮助听障人群更好地了解这个世界。
可是你有没有想过,自动生成字幕技术已经非常成熟的今天,AI能够迅速将语音转成文字,为什么电视新闻还需要手语播报?
一群程序员为聋哑人打造手语主持人
在中国14亿人中,有2700万听障人士。
这些人的年龄、受教育状况参差不齐。很多听障人士文化水平不高,他们当中很多人对手语比对文字更加熟悉。
而且手语的思维方式、顺序和语音的方式并不相同。
比如我们一般说“开车不喝酒”,但是在手语中,却是按顺序打出“开车”、“喝酒”、“不许”这三个手势。
一般的电视节目多是按照正常语序编排,很少照顾到手语的特殊表达结构,导致绝大部分听障人士只能理解不足60%的内容。
尤其是播报突发疫情等新闻消息,往往没有实时字幕,这些人就更难获得信息了。
当我们在用手机刷短视频、看新闻的时候,由于缺乏手语播报,那些听障人群却无法和我们一样接受这些资讯,他们当中很多人难以融入社会,处在被遗忘的边缘。
所以,有一群的搜狗程序员们,想到为听障人群做点事。
在今年的搜狐5G&AI峰会上,搜狗发布了最新一代AI合成主播——全球首个手语AI合成主播“小聪”。
AI打手语,没那么简单
2018年,搜狗与新华社新媒体合作,以新华社邱浩和屈萌为原型,制作出全球首款AI合成主播“新小浩”和“新小萌”。
现在,搜狗的分身技术升级,这让“段子手”朱广权遇到了一个真正的AI“对手”——手语AI合成主播“小聪”,能够把各种复杂的语言转化成听障人士更容易理解的手语。
“小聪”使用了行业最领先的3D重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉技术,生产出了高度还原真人发肤、形象逼真、动作自然生动的数字人模型,数字人写实度的大幅突破则能够显著提升手语播报的真实感与亲切感,从而提高播报用户体验。
搜狗说,在测评中“小聪”的可懂度达到了85%以上,相比纯文字传达信息的效率有明显提高,能有效帮助听障人士克服理解障碍。
从AI新闻主播到AI手语主播,这看似一个常规的迭代升级后,背后却有着诸多不易。
首先,开发手语AI合成主播的程序员们,他们都是普通人,对手语不够了解。
最开始他们以为只需做一个从语音到视觉的转换模型即可,然而实际上手后,问题并不像想象的那么简单。
一位参加开发的搜狗员工说,他们主要面临着三大难点:一个是前面提到的手语与口语语序不一样的问题,还有手语中缺乏一些口语中的词汇,最后是表情气态也是手语表达中极为重要的一部分。
这些因素都决定了,手语AI合成主播没那么简单。
其次,国家手语标准在2019年才制定完成,行业内根本没有现成的手语视频图像数据集可用。为此搜狗请来了三组人群组成的“顾问团”出谋划策。
他们当中有制定手语标准的专家,有手语教师,还有正在使用手语的听障人士。
搜狗通过采集他们的手语数据,倾听他们的使用感受,经过一年多的打磨,“小聪”终于成功上线。
为何会是搜狗
在众多AI科技公司中,为何是搜狗率先推出了手语AI合成主播?
其实并不意外,从2018年开始,搜狗就一直在探索AI数字人技术,在AI合成主播这条路上已经有了3年多成功的落地经验。
这一次,搜狗不仅发布了手语AI合成主播,还发布了柳岩同款“数字人”,它可以在一条新闻中无缝切换多种方言,即使是柳岩本人不会的方言。
这项技术只需少量真实语音、视频数据,即可定制出高逼真度的分身模型,已经成功运用在新华社、央视等媒体上。
由于搜狗AI团队在超写实3D数字人领域持续研发并取得了新的突破,这一次发布的手语数字人“小聪”,结合原力科技的行业最领先3D重光照扫描还原手语数字人高精度模型及采集的动画数据,辅助自研的表情肢体手势捕捉技术,造就了这样一个高度还原真人发肤、形象逼真、动作自然生动的数字人模型。
在积极探索AI落地之外,搜狗技术团队同时也“悄悄”积累了大量基础技术。
其中有多模态语言处理,用图像视频提高AI的文字处理能力。
例如2019年,搜狗一篇研究唇语提升语音识别准确率的论文论文,发表在信号处理领域顶级学术会议ICASSP上。
搜狗在数字人肢体驱动技术也有颇多探索,去年的ACM MM 2020上还发表了一篇虚拟人随音乐节奏起舞的论文。
当然最重要可能也是搜狗AI团队的技术情怀。
搜狗AI交互技术部总经理陈伟说,有一件事给了他很大的触动。
2019年一天深夜,他在微博上看到有聋哑人在吐槽搜狗的语音转文字功能。在经过一番沟通后,搜狗解决了这个技术问题。
其实早在手语主播之前,这些听障人已经在使用搜狗的语音识别技术来与其他普通人对话沟通。
所以在2020年以后,当搜狗3D数字人技术逐渐成熟后,搜狗团队萌生了一个想法:为这群人打造一个真正有价值的AI主播。
搜狗是AI合成主播的开创者,站在技术最前沿的同时,也在思考技术所背负的社会责任感。
作为全球首个手语AI合成主播,“小聪”能够帮助广大听障人士更好地接收资讯、更好地生活,也体现了搜狗AI技术的人文关怀。
至于我们何时能在电视上看到“小聪”,“今年年底预计会做到大规模的应用”,陈伟说。
搜狗发布全球首个手语AI合成主播,用技术造福听障人群相关推荐
- 突破 1nm!台积电祭出“半金属”取代硅材料;搜狗发布手语 AI 合成主播;iOS 微信 8.0.6 版本更新|极客头条...
「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews ...
- 全球首个AI合成主播发布,效果以假乱真!揭秘背后技术原理
边策 李根 发自 凹非寺 量子位 报道 | 公众号 QbitAI 搜狗又在乌镇世界互联网大会上搞了大新闻. 2016年,王小川在正式论坛里秀出AI同传,那是机器实时翻译技术,首次在高规格国际会议上实 ...
- 打造新华社「AI合成主播」的“分身术”为何物?
刚刚火了没几年的主播这一职业,已经面临沦陷的危险,当然,沦陷的不只是主播. 11月7日,在第五届世界互联网大会上,惊现全球首个「AI合成主播」,AI合成主播可以模仿真实主播的音容笑貌,就连在发布会现场 ...
- 搜狗公司与新华社新媒体中心联合发布了全球首个站立式 AI 合成主播
2019独角兽企业重金招聘Python工程师标准>>> 2 月 19 日,在新华社新媒体中心与搜狗公司战略合作签约仪式上,搜狗公司与新华社新媒体中心联合发布了全球首个站立式 AI 合 ...
- 搜狗分身技术再进化,让AI合成主播“动”起来
整理 | 一一 出品 | AI科技大本营 去年 11 月的互联网大会期间,搜狗与新华社联合发布全球首个AI合成主播一经亮相,引起了人们对"AI+媒体"的广泛讨论.如今,搜狗 AI ...
- 对话搜狗陈伟,揭秘搜狗AI合成主播背后的前沿技术
导语:近日,雷锋网就"搜狗分身"技术以及升级后的AI合成主播,与搜狗语音技术交互中心的陈伟进行了面对面的交流. 2019年2月19日,搜狗和新华社新媒体中心联合推出的全球首个站立式 ...
- 超越英伟达的,不会是另一款GPU?这家深圳公司发布全球首款数据流AI芯片
2020年6月23日,鲲云科技在深圳举行产品发布会,发布全球首款数据流AI芯片CAISA,定位于高性能AI推理,已完成量产. 鲲云通过自主研发的数据流技术在芯片实测算力上实现了技术突破,较同类产品在芯 ...
- 央视牵手搜狗,AI合成主播为3·15晚会预热
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 一年一度的"3·15"又来了,今年央视请来了一位得力帮手--搜狗AI合成主播.这是搜狗AI技术首次与央视牵手. 据悉, ...
- 搜狗发布全球首位 3D AI 主播,背后分身技术有玄机
作者 | 陈利鑫 头图 | CSDN 下载自东方 IC 又是一年两会时间,平时关注新闻的朋友们可能会发现,新华社关于两会的报道,进行消息播送的主持人队伍加入了一位漂亮小姐姐,而这位小姐姐竟然不是真人, ...
最新文章
- 统计学习导论 Chapter8 -- Tree-Based Methods
- centos7.3修改mysql密码_Centos7.3下mysql5.7.18安装并修改初始密码的方法
- 【C 语言】指针数据类型 ( 指针类型变量 | 使用 * 操作内存 )
- sysctl mysql_服务器优化——Sysctl、Apache、MySQL
- Redis缓存 ava-Jedis操作Redis,基本操作以及 实现对象保存
- java hevc和heif_iOS 影音新格式 HEIF HEVC
- SAP SM12 解锁Lock Table
- 第三次学JAVA再学不好就吃翔(part12)--基础语法之for循环语句
- unix网络编程之UNIX Domain Socket IPC (sockaddr_un )
- Linux 基础知识系列第二篇
- 浅谈_依赖注入 asp.net core
- center os php,Center OS 7 Apache安装配置
- 如何使用Java语言实现一个网页爬虫
- 辩证唯物主义和历史唯物主义思维导图 - 圣才
- 定时关机win10_巧用任务计划程序定时关机
- Silicon单片机芯片解密
- Word2Vec的安装与使用
- java 数组怎么求和,感动,我终于学会了Java对数组求和
- html5 运动轨迹绘画,html5 canvas行星运动轨迹动画特效
- 近200篇机器学习深度学习资料分享(含各种文档,视频,源码等)(3)
热门文章
- 在pandas数据框中选择多个列
- 失手打死请自己吃饭的酒友 嫌疑人在深圳落网
- ECS TAG功能详解
- 清华大学 现代软件工程 结对编程项目 (一)
- docker应用到生产环境的前提
- Android使用XUtils框架上传照片(一张或多张)和文本,server接收照片和文字(无乱码)...
- Gradle sync failed: failed to find Build Tools revision 21.1.2
- vue2.0中文网站2.0
- 记个maven无法识别JAVA_HOME的问题 Error: JAVA_HOME is not defined correctly.
- 双网卡绑定-bond0