Facebook AI 发布“HuBERT”：一种学习自我监督语音表示的新方法
许多人工智能研究项目一直在努力提高他们仅仅通过倾听和与他人互动来检测和解释语音的能力，就像婴儿学习他们的第一语言一样。这不仅需要评估某人所说的话，还需要从这些话的表达方式中获得各种其他线索，例如说话人识别、情绪、犹豫和打断。此外，人工智能系统必须识别和解释与语音信号重叠的噪音，例如笑声、咳嗽、背景车辆或鸟鸣，才能像人一样完全理解情况。
因此，Facebook AI 发布了 HuBERT，这是一种学习自监督语音表示的新方法，以帮助对音频中这些类型的丰富词汇和非词汇信息进行建模。用于语音表示学习的 HuBERT 匹配或优于用于语音识别、生成和压缩的 SOTA 技术。
该模型通过使用离线 k-means 聚类步骤预测掩蔽音频段的正确聚类来学习口语输入的结构。通过 在聚类和预测过程之间交替，HuBERT 会随着时间的推移改进其学习的离散表示。它简单而稳定。HuBERT 学习的演示文稿质量也不错，可以轻松 集成到各种下游语音应用程序中。
HuBERT 的工作
HuBERT 的灵感来自 Facebook AI 的用于自监督视觉学习的 DeepCluster 方法。为了捕获语音的序列结构， 它使用了序列上的掩码预测损失，例如 Google 的 BERT(来自 Transformers 的双向编码器表示)。它使用离线聚类步骤为 掩码语言模型预训练生成噪声标签 。特别是 HuBERT，它使用掩码连续语音特征来预测指定的集群分配。只有屏蔽区域会受到预测损失的影响，迫使模型学习未屏蔽输入的足够高级表示，以便推断屏蔽输入的目标。
HuBERT 使用 连续输入来训练声学和语言模型。该模型必须首先将未屏蔽的音频输入编码为有意义的连续潜在表示。这些表示映射到传统的声学建模问题。其次，该模型需要学习表示之间的长期时间关系来减少预测误差。
这项工作背后的一个重要动机是 从音频输入到离散目标的k-means映射一致性 的重要性 ，而不仅仅是它们的正确性，这有助于模型专注于对输入数据的序列结构进行建模。
HuBERT 在标准数据集上进行了预训练，例如 LibriSpeech 960 小时和 Libri-Light 60,000 小时。它在 10 分钟、1 小时、10 小时、100 小时和 960 小时的所有微调子集上达到或改进了最先进的 wav2vec 2.0性能。
语音表示学习的重大成就允许在不使用词汇资源(即，没有监督标签、文本语料库或词典)的情况下对语音信号进行直接语言建模。这允许对非词汇信息进行建模，例如戏剧性的停顿、紧急中断或背景噪音。
Facebook AI 已经迈出了使用从 CPC、Wav2Vec2.0 和 HuBERT 在生成性口语建模 (GSLM) 中学习到的语音表示来合成语音的 第一步。
HuBERT 可以帮助 AI 研究人员开发专门针对音频而非文本样本进行训练的 NLP 系统。这将使我们能够为现有的 NLP 系统添加自发口头语言的完整表现力，让 AI 语音助手能够用真人的细微差别和情感说话。因此，在不依赖大量标记数据的情况下有效地学习语音表示对于 AI 社区构建跨越方言和仅口语的语言的更具包容性的应用程序至关重要且有帮助。
资料来源：https://www.yunduoketang.com/article/zenyang-kai-wangxiao.html
https://www.yunduoketang.com/article/jianli-pinpai-wangxiao.html
https://www.yunduoketang.com/article/kai-wangxiao-pingtai.html
https://www.yunduoketang.com/article/zaixianjiaoyuzhibopingtai15.html
https://www.yunduoketang.com/article/kaifa-jiaoyu-pingtai.html
Facebook AI 发布“HuBERT”：一种学习自我监督语音表示的新方法相关推荐
- 独家 | Facebook AI发布DETR一种基于Transformer的对象检测方法！
作者:PRATEEK JOSHI 翻译:陈之炎 校对:王晓颖 本文约1800字,建议阅读8分钟. 每隔一段时间,一些新的机器学习的框架或者库就会改变整个领域的格局.今天,Facebook开源了-DET ...
- 如何系统地自学python100天_Github上发布了一个Python学习秘笈，从萌新到王者的100天Python学习之旅...
北京千锋互联科技有限公司成都分公司骆昊(jackfrued)在Github上发布了一个Python学习秘笈,从萌新到王者的100天Python学习之旅. 简单的说,Python是一个"优雅& ...
- 一种优于“分区魔术师”的无损分区新方法
一种优于" 分区 魔术师"的无损分区新方法 LINUX每日一 技之001 一.本文目的 今天是国庆节,LINUX国家战略博客的"LINUX每日一技"如期 ...
- Meta AI发布具有200种语言的高品质机器翻译人工智能模型
Meta AI所打造的NLLB-200是第一个能对200种不同语言提供先进质量翻译的单一人工智能(AI)模型. Meta AI也建立了全新的评价数据集FLORES-200,并衡量NLLB-200在每种 ...
- Facebook AI的DETR:一种基于Transformer的目标检测方法
介绍 机器学习框架或库有时会更改该领域的格局.前不久,Facebook开源了一个这样的框架,DETR(DEtection TRansformer) 在本文中,我们将快速了解目标检测的概念,然后研究DE ...
- ICCV 2019 | 旷视提出MetaPruning：基于元学习和AutoML的模型压缩新方法
点击我爱计算机视觉标星,更快获取CVML新技术 两年一度的国际计算机视觉大会 ICCV 2019 ( IEEE International Conference on Computer Vision) ...
- 【通知】有三AI发布150页深度学习开源框架指导手册与GitHub项目，欢迎加入我们的开源团队...
之前我们公众号输出了很多深度学习开源框架相关的内容,今天整理成技术手册给大家分享以方便阅读,下面是详细信息. 开源框架背景 现如今开源生态非常完善,深度学习相关的开源框架众多,光是为人熟知的就有caf ...
- darknet框架_【通知】有三AI发布150页深度学习开源框架指导手册与GitHub项目，欢迎加入我们的开源团队...
之前我们公众号输出了很多深度学习开源框架相关的内容,今天整理成技术手册给大家分享以方便阅读,下面是详细信息. 开源框架背景 现如今开源生态非常完善,深度学习相关的开源框架众多,光是为人熟知的就有caf ...
- 论文解读:《Amy pred-FRL是一种通过使用特征表示学习来精确预测淀粉样蛋白的新方法》
~Title:AMYPred‑FRL is a novel approach for accurate prediction of amyloid proteins by using feature ...
最新文章
- bzoj [Scoi2016]美味
- C++ Primer 5th笔记（chap 17 标准库特殊设施）正则表达式类和输入序列类型
- Java中实现根据一个List中的数据的两个属性相同划分为同一类
- Centos搭建FTP服务
- Boost：bind绑定的==，！=，＜，＜=，＞，＞ =运算符的测试程序
- IG击败TOP进入春季赛决赛 王思聪督战时吃玉米动作亮了
- Lora协议整理（第2汇报）
- 加入收藏和设为首页JQuery代码
- 大数据中心建设一哄而上 人才技术制约产业发展
- java将uuid转换成大写_java实现无符号数转换、字符串补齐、md5、uuid、随机数示例...
- 在html中字怎么修改位置,css怎么设置字体位置？
- 阿里云国际站云服务器可以用来做什么业务？
- @Value 获取乱码 问题解决
- 【泛微E-Mobile】管理员是否可以监控群聊
- WIN11+CUAD11.2+vs2019+tensorTR8.6+Yolov3/4/5模型加速
- 美国北亚利桑那大学计算机在线硕士,北亚利桑那大学计算机方向访问学者邀请函...
- 麦肯锡称三年内将会发生金融AI大变革
- React过渡动画组件
- 通过B2C购物流程所能想到些什么！！
- 小学计算机课动画制作的评课稿,根据小学信息技术学科特点进行有效评课