技术实操丨SoundNet迁移学习之由声音分类到语音情感识别

2024-04-26 12:25:54

摘要：声音也是识别对象的一种重要数据源。其中根据声音来识别声音所处的环境也是语音识别的研究内容之一。

一、思路

1、SoundNet模型在视频数据中先预训练，视频任务可能是场景识别，可参考这篇文章SoundNet: Learning Sound Representations from Unlabeled Video。

2、迁移学习：5层的soundnet只取前3层作为迁移层，在新数据集中训练时保持着三层不变，其余两层随机初始化，再训练。

3、在新数据如IEMOCAP中fine-tuning

二、实验数据

三、实验结果

评价指标：AUC

Scratch表示随机初始化的SoundNet。

四、总结

1、面对音频数据稀缺，给出了很好的解决思路，可根据SoundNet文章中的思路，先从视频数据入手，学习SoundNet参数，然后应用到自己的场景中；

2、跨语言迁移学习：文章中从英语场景迁移到汉语场景，效果比单一数据训练提升很大；

3、YFCC100m 、Google AudioSet可用于预训练模型。

参考文献：

[1] ElShaer M E A, Wisdom S, Mishra T. Transfer Learning From Sound Representations For Anger Detection in Speech[J]. arXiv preprint arXiv:1902.02120, 2019.

点击关注，第一时间了解华为云新鲜技术~

技术实操丨SoundNet迁移学习之由声音分类到语音情感识别相关推荐

技术实操丨HBase 2.X版本的元数据修复及一种数据迁移方式
摘要:分享一个HBase集群恢复的方法. 背景在HBase 1.x中,经常会遇到元数据不一致的情况,这个时候使用HBCK的命令,可以快速修复元数据,让集群恢复正常. 另外HBase数据迁移时,大家经 ...
SAP S/4实操LTMC 数据迁移驾驶舱
SAP S/4实操LTMC 数据迁移驾驶舱文章目录 SAP S/4实操LTMC 数据迁移驾驶舱前言一.LTMC是什么? 二.使用步骤 1.配置好SICF并正常启用LTMC服务 2.数据迁移 2. ...
解读|爱奇艺互动剧创作技术实操攻略
21个互动节点,17种结局,260分钟剧集--今年6月国内首部互动剧<他的微笑>上线开播.和大部分人一样,什么是互动剧?互动剧与技术如何衔接?带着强烈的好奇心,小编首次开启了互动剧创作技术 ...
迁移学习+TfLite Android构建自己的喵咪识别APP（一）
迁移学习+TfLite Android构建自己的喵咪识别APP(一) 本教程是我自己实践过程的记录,具体的理论细节请参照其他博客一.基础知识官方实践教程一: 迁移学习实现图像分类器 https:/ ...
神经网络实战--使用迁移学习完成猫狗分类
前言: Hello大家好,我是Dream. 今天来学习一下如何使用基于tensorflow和keras的迁移学习完成猫狗分类,欢迎大家一起前来探讨学习~ 本文目录: 一.加载数据集 1.调用库函数 2 ...
语音情感识别中的音频检测算法学习
引言:目前大体学习多模态语音情感识别,对语音数据的训练过程有个初步的了解,但对于原始语音音频生成具体的数据特征.以及如何获取有些疑惑,因此通过这篇文章来总结语音情感识别中的音频特征检测算法. 音频检测 ...
语音情感识别领域-论文阅读笔记1：融合语音和文字的句段级别情感识别技术
语音情感识别领域-论文阅读笔记1 Fusion Techniques for Utterance-Level Emotion Recognition Combining Speech and Tran ...
tengine简单安装_实操丨如何在EAIDK上部署Tengine开发AI应用之物体检测应用入门（C++）...
前言:近期推出的嵌入式AI系列直播公开课受到广大开发者的喜爱,并收到非常多的反馈信息,其中对如何在EAIDK上面部署Tengine开发AI应用感兴趣的开发者不在少数,我们将分2期以案例实操的形式详细介 ...
干货丨简述迁移学习在深度学习中的应用
文章来源:机器之心迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中. 深度学习中在计算机视觉任务和自然语言处理任务中将预训练的模型作为新模型 ...

最新文章

热门文章