Meta发布支持128种语言的新语音模型:指向元宇宙跨语种交流,可在线试玩
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
Facebook AI(bushi),更准确地说是Meta AI,刚刚发布了自监督语音处理模型XLS-R,共支持128种语言。
这项技术与Meta公司最新“元宇宙”愿景紧密相关。
相互交谈是人们互动的一种自然方式,随着语音技术的发展,未来的虚拟世界可以使用我们技术进行互动,虚拟体验将与物理世界融为一体。
说人话,就是让母语不同的人在元宇宙里社交:一位说着英语,一位说着汉语,两人可以靠XLS-R在元宇宙中无障碍对话。
实际效果如何呢?
MetaAI在HuggingFace上发布了试用版语音直译模型,支持从22种语言转换到16种语言,我们先来试试它的英译中效果。
(虽然翻译腔较浓,但仍算准确,7秒钟的句子完成翻译仅1.53秒)
我们知道,世界上的语言有上千种,要用AI实现这些语言的互通并非易事。
一般语料库的丰富程度决定了语言翻译模型的质量,语音翻译一般集中于几个资源多大语种之间。但是由于小语种往往语料匮乏,使用这类母语的人往往很难获得较高的AI翻译质量。
XLS-R通过自监督技术对10倍的语音数据进行训练,大大改善了以前的多语言模型,尤其是小语种的处理。
XLS-R的原理
XLS-R基于Facebook去年发布的wav2vec 2.0技术。
wav2vec 2.0与BERT类似,是通过预测音频mask部分的语音单元来训练的。它们的区别是,语音音频是一种连续的信号,不能轻易清晰地分割成单词或其他单位。
wav2vec 2.0通过学习25毫秒长的基本单元来解决这个问题,以便能够学习高级上下文表示。
在仅拥有一小时的标记训练数据的情况下,wav2vec 2.0能通过后续无监督的训练数据,在LibreSpeech测试基准的100小时子集上达到SOTA水平。
之后,Facebook又推出了完全无监督的高性能语音识别模型wav2vec-U,它纯粹从录制的语音音频和未配对的文本中学习。
为了wav2vec-U让学习识别音频录音中的单词,Facebook训练了一个GAN。生成器根据嵌入在自监督表示中的每个音频段,预测与语言中的声音对应的音素。
而鉴别器负责评估预测的音素序列是否真实。最初,转录非常糟糕,但随着时间的推移,随着鉴别器的反馈,转录变得准确。
通过这种方式,它学会了区分生成器的语音识别输出和真实文本。
Facebook在此基础上推出了包含53种语言的XLSR。
而最新发布的XLS-R有128种语言之多,语种数量是XLSR的两倍多,数据量更是后者10倍——共计长达43.6万小时的语音。
XLS-R共有20亿参数,它在测试的37种语言中,表现优于大多数语种先前的工作。甚至在老挝语等小语种识别上,也能低于之前的错误率。
此外XLS-R也让低资源语言与英语之间的翻译大幅改进,例如从印度尼西亚语到英语的翻译,其中BLEU(双语互译质量评估)的准确性平均翻了一番。
CoVoST-2语音翻译基准测试中,XLS-R在21个英语翻译方向上比之前技术平均提高了7.4 BLEU。
从下图中可以看出,XLS-R对低资源语种的提升尤为明显。
微调XLS-R
XLS-R只是一个预训练模型,为了能更好的服务于具体任务,还需要对模型进行微调。
Hugging Face官方提供了详细的微调教程。
此外官方还提供不同参数规模的语音识别模型,以及15种语言与英语之间的互译模型,供用户下载。
传送门
官方博客:
https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/
GitHub页:
https://github.com/pytorch/fairseq/tree/main/examples/wav2vec/xlsr
论文地址:
https://arxiv.org/abs/2111.09296v1
试用网页地址:
https://huggingface.co/spaces/facebook/XLS-R-2B-22-16
微调方法简介:
https://huggingface.co/blog/fine-tune-xlsr-wav2vec2
Meta发布支持128种语言的新语音模型:指向元宇宙跨语种交流,可在线试玩相关推荐
- 在元宇宙里怎么交朋友?Meta发布跨语种交流语音模型,支持128种语言无障碍对话...
来源:AI前线 本文约1500字,建议阅读5分钟 本文为你介绍 XLS-R--一套用于各类语音任务的新型自监督模型. 改名 Meta 之后,Facebook 的元宇宙愿景正在一点点实现.这一次,Fac ...
- 元宇宙中可跨语种交流,Meta 发布新语音模型,支持128种语言无障碍对话
编译 | 禾木木 出品 | AI科技大本营(ID:rgznai100) 语言交流是人类互动一种自然的方式,随着语音技术的发展,我们可以与设备以及未来的虚拟世界进行互动,由此虚拟体验将于我们的现实世界融 ...
- 元宇宙中可跨语种交流!Meta 发布新语音模型,支持128种语言无障碍对话
编译 | 禾木木 出品 | AI科技大本营(ID:rgznai100) 语言交流是人类互动一种自然的方式,随着语音技术的发展,我们可以与设备以及未来的虚拟世界进行互动,由此虚拟体验将于我们的现实世界融 ...
- Meta AI发布具有200种语言的高品质机器翻译人工智能模型
Meta AI所打造的NLLB-200是第一个能对200种不同语言提供先进质量翻译的单一人工智能(AI)模型. Meta AI也建立了全新的评价数据集FLORES-200,并衡量NLLB-200在每种 ...
- 百度AI全面开放EasyDL开启AI普及化时代;讯飞翻译机2.0发布:支持34种语言;华为开发能读懂人类情绪的AI技术
百度AI全面开放EasyDL开启AI普及化时代,"小白"也能用AI 百度"燎原计划2018"暨百度AI开发者实战营第二季强势回归,首站北京即放送三大满足各类开发 ...
- 人工智能Java SDK:图像文本的跨模态相似性比对检索【支持40种语言】
图像&文本的跨模态相似性比对检索 SDK[支持40种语言] 背景介绍 OpenAI 发布了两个新的神经网络:CLIP 和 DALL·E.它们将 NLP(自然语言识别)与 图像识别结合在一起, ...
- ABBYY PDF Transformer+ Pro可以支持189种语言
2019独角兽企业重金招聘Python工程师标准>>> ABBYY PDF Transformer+ Pro版支持189种语言,包括我们人类的自然语言.人造语言以及正式语言.受支持的 ...
- 有道智云智能语音服务全面升级 最多可支持44种语言和方言
原标题:有道智云智能语音服务全面升级 最多可支持44种语言和方言 有道智云·AI开放平台智能语音服务全面升级,支持40多个小语种的语音识别.及翻译!现在开通注册即送50元体验金免费体验!戳一下了解详情 ...
- Ekho TTS网页改版,支持7种语言的在线demo
为什么80%的码农都做不了架构师?>>> 新年献礼,Ekho TTS网页改版,支持7种语言的在线demo:粤语.普通话.诏安客语.韩语.藏语.雅言.英语 http://www. ...
最新文章
- linux运维如何月薪过万?(收藏自用)
- pandas使用fillna函数并设置bfill参数使用列中的后序值填充缺失值
- 大数据分析常用去重算法分析『HyperLogLog 篇』
- python基础语法3_python基础语法三
- boost::hana::detail::wrong用法的测试程序
- bash下: () {} [] [[]] (())的解释
- 【 HDU - 5363】Key Set(水题,快速幂,组合数学)
- OncePerRequestFilter的作用
- 日常问题——解决mac下 ssh: connect to host localhost port 22: Connection refused
- Qt工作笔记-QSS中关于QCombox的设置
- python面试题37道(附答案)看完面试不愁了
- Java NIO编程基础
- [原创]测试用例设计策略
- ngx_lua中的协程调度(六)之ngx_http_lua_run_posted_thread
- 什么是Prettier?
- 研华工控机改软PLC使用教程
- QTcreator Label控件显示乱码问题解决办法
- 分析Ajax爬取今日头条街拍图片
- android网络测试上传速度慢,【教程】状态栏添加网速 《双排上传速度和下载速度》(转)...
- 使用openCV进行边缘检测、二值化、轮廓、轮廓检测、BGR、灰度图、二值化,专栏:各种openCV实践的案例
热门文章
- Google Maps Android API V2的使用及问题解决
- 【插件】jQuery.iviewer----图片浏览(滚动放大缩小问题解决)
- 这个笑脸胡子的表情是什么:“<:] {%>”?
- Cocoapods警告 - CocoaPods没有设置项目的基本配置,因为您的项目已经有自定义配置集
- Java相当于C#中的#region
- 如何在另一个JavaScript文件中包含一个JavaScript文件?
- 项目管理和产品管理绉议
- 高仿腾讯QQ Xplan(X计划)的H5页面(2):动画控制
- 【Java每日一题】20161128
- Nginx系列~负载均衡服务器与WWW服务器的实现