语音之家SOTA | TIOBE 滚动测试报 2021.10

SpeechIO TIOBE

ASR Benchmark

滚动测试报告 2021年10月

1、更新日志

最新更新日期:2021-10

2021年10月：
- 场景：增加 [电台节目:张震鬼故事] [华语大学生辩论赛] [同声传译现场时政]
- 流程：TN模块增加无意义 filler 词 "呃，啊" 过滤
- 测试：全厂商 × 全场景滚动刷新测试
2021年7月：
- 场景：增加 [短视频-产品开箱] [短视频-农业种植] [线下培训-古希腊哲学]
- 测试：全厂商 × 全场景滚动刷新测试
2021年4月：
- 发布：Leaderboard 项目
- 场景：增加 [汽车之家-汽车评测] [小艾大叔-豪宅带看]
- 测试：全厂商 × 全场景滚动刷新测试
2021年1月:
- 场景：增加[体育赛事解说-NBA] [纪录片-篮球人物]
- 厂商：得到"创业公司S"授权，身份公布为思必驰AISpeech，调用平台为[思必驰开放平台-一句话识别服务]
- 测试：全厂商 × 全场景滚动刷新测试
2020年12月:
- 场景：增加 [少儿卡通小猪佩奇&熊出没]
- 厂商：百度服务切换至极速版，详见 [百度服务切换说明]
- 测试：全厂商 × 全场景滚动刷新测试
2020年11月：
- 场景：增加 [评书单田芳-白眉大侠]，[相声德云社]，[脱口秀吐槽大会]
- 测试：全厂商 × 全场景滚动刷新测试
2020年10月：
- 指标：增加 SOTA 数值 ，详见 [当我们谈论SOTA时，我们在谈论什么]
- 场景：增加 [短视频电影剪辑谷阿莫&牛叔说电影] [短视频美食&烹饪琼斯爱生活&贫穷料理]
- 测试集发布：[新闻联播] 测试集已公开发布，后续滚动测试不会每期都覆盖该场景
- 测试：全厂商 × 全场景滚动刷新测试
2020年9月：
- 场景：增加 [在线教育罗翔法考] [在线教育张雪峰考研]
- 厂商：[阿里云+]已上线合并入公网版本[阿里云]，TIOBE 历史数据记录始终以公网版本为准。
- 测试：全厂商 × 全场景滚动刷新测试
2020年8月：
- 场景：增加 [播客创业内幕]
- 测试：全厂商 × 全场景滚动刷新测试
2020年7月：
- 场景：增加 [播客故事FM]
- 重要修复：发现 [直播带货李佳琪薇娅] [直播王者荣耀张大仙骚白] [老罗语录] 三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]
- 测试：全厂商 × 全场景滚动刷新测试

2020年6月：
- 场景：增加 [直播带货李佳琪薇娅] [直播王者荣耀张大仙骚白] [老罗语录]
- 厂商：增加 阿里+ ，为阿里云新算法的试用版; 测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和。
- 更名：原搜狗知音平台 改名为 搜狗AI开放平台
- 测试：全厂商 × 全场景滚动刷新测试

2020年5月：

- 修复搜狗多句结果解析bug
- 场景：增加 [天下足球-世界杯往事] [罗振宇跨年演讲] [李永乐老师在线讲堂]
- 厂商：增加 创S
- 测试：全厂商 × 全场景滚动刷新测试

2020年4月：

- 场景：增加 [鲁豫有约大咖一日行]
- 厂商：增加 微软 Azure 认知服务 搜狗知音平台
- 测试：全厂商 × 全场景滚动刷新测试

2020年3月：
- 项目发布：[引篇] [测试规范]

- 场景：增加 [新闻联播]
- 厂商：增加 阿里 百度 谷歌 讯飞 腾讯 创Y

2、滚动测试

已有测试集信息汇总

文章链接	场景	领域	难度(1-5)
新闻联播	新闻播报	时政	★
鲁豫有约一日行	访谈电视节目	名人工作、生活	★★☆
天下足球	专题电视节目	足球	★★☆
罗振宇跨年	会场演讲	社会、人文、商业	★★
李永乐讲堂	在线教育	科普	★★★
直播王者荣耀	直播	游戏	★★★☆
直播带货	直播	电商、美妆	★★★★☆
老罗语录	线下培训	段子，做人	★★★★☆
播客故事FM	播客	人生故事、见闻	★★☆
播客创业内幕	播客	创业、产品、投资	★★☆
罗翔法考	在线教育	法律法考	★★☆
张雪峰考研	在线教育	考研高校报考	★★★☆
谷阿莫&牛叔	短视频	电影剪辑	★★★
琼斯爱生活&贫穷料理	短视频	美食、烹饪	★★★☆
单田芳-白眉大侠	评书	江湖、武侠	★★☆
德云社专场	相声	包袱段子	★★★
吐槽大会	脱口秀	明星糗事	★★☆
小猪佩奇&熊出没	少儿动画	童话故事、日常	★☆
NBA现场转播	体育赛事解说	篮球，NBA	★★★
篮球人物	纪录片	篮球明星，成长	★★
汽车之家汽车评测	短视频	汽车品牌，车型，路测	★★★☆
小艾大叔豪宅带看	短视频	房地产，豪宅	★★★☆
Zealer & 无聊开箱	短视频	产品开箱	★★★
付老师种植技术	短视频	农业种植	★★★☆
石国鹏线下课	线下培训	古希腊哲学	★★☆
张震鬼故事	电台节目	恐怖故事	★★★
华语大学生辩论赛	辩论赛	兴趣，技能，成长	★★★
同声传译	同声传译现场	时政	★★★☆

最新滚动测试结果汇总

纵轴（字准确率%）绘制范围为 [70, 100]

(注：讯飞被低估，原因详见链接 [SOTA])

最新滚动测试详细数据

3、简评

本季度新加入 [张震鬼故事] [大学生辩论赛] [同声传译现场] 场景测试。
本季度测试流程中的TN模块加入了无意义 filler 词 “呃，啊”的过滤，各厂商数字会因此有少许提升。
本次滚动测试，阿里的调用更新到公网最新版“拾音石”，在 SpeechIO 测试集上性能全面下滑。其它厂商服务无明显变化。
自本期滚动测试开始，SpeechIO 在有精力的前提下尽量做到每期都全面更换调用账号。

语音之家SOTA | TIOBE 滚动测试报 2021.10相关推荐

语音之家SOTA | TIOBE 场景测试：电台节目张震鬼故事
SpeechIO TIOBE Benchmark 场景测试:电台节目张震鬼故事 1.素材来源 YouTube 抓取"张震鬼故事" 往期节目,原始音频约3小时 2.场景特点环境 ...
语音之家SOTA | 同声传译现场时政
SpeechIO TIOBE Benchmark 场景测试:同声传译现场时政 1.素材来源 YouTube 爬取美联储.白宫发布会.政要座谈会等时政素材的中文同传现场,原始时长约两个半小时. 场景上 ...
语音之家SOTA｜Leaderboard 新增 WenetSpeech 数据集预训练 WeNet 模型
Leaderboard 项目新增基于 WenetSpeech 数据集的 WeNet 预训练模型,识别准确率如下: 具体数字如下: 该模型可与之前发布的开源测试集配合使用,进行本地复现和验证,模型的下载 ...
语音之家SOTA｜开源发布: SPEECHIO_ASR_ZH00004 罗振宇跨年演讲
本期开源发布为 [罗振宇跨年演讲] 场景,测试集ID: SPEECHIO_ASR_ZH00004 获取方式: 平台:Linux / MacOS Step 1 获取 leaderboard 代码仓库: ...
助力AI语音开发者的社区-语音之家
语音之家简介语音之家成立于2021年4月,是一家助力AI语音开发者的社区,我们希望通过知识传播.在线学习.资源分享.各类活动等方式提供全生命周期的服务,帮助全球的AI语音开发者获得成长,洞见AI语音 ...
Xamarin.iOS真机测试报错
Xamarin.iOS真机测试报错错误信息:The MinimumOSVersion inside Info.plist does not include the device version(er ...
Xamarin Android真机测试报错
Xamarin Android真机测试报错 Xamarin Android真机测试报错,错误信息为INSTALL_CANCELLED_BY_USER.出现这个错误,通常都是真机上开发者选项设置错误.由 ...
【GitLab】gitlab上配置webhook后，点击测试报错：Requests to the local network are not allowed...
gitlab上配置webhook后,点击测试报错: Requests to the local network are not allowed 操作如下: 报错: 错误原因: gitlab 10.6 ...
apache ab压力测试报错apr_socket_recv
apache ab压力测试报错(apr_socket_recv: Connection reset by peer (104)) apache 自带的ab工具测试,当并发量达到1000多的时候报错如下 ...
关于activeMq在本地测试报错org.apache.activemq.transport.InactivityIOException: Cannot send, channel has alrea
关于activeMq在本地测试报错org.apache.activemq.transport.InactivityIOException: Cannot send, channel has alrea ...

语音之家SOTA | TIOBE 滚动测试报 2021.10

1、更新日志

2、滚动测试

3、简评

语音之家SOTA | TIOBE 滚动测试报 2021.10相关推荐

最新文章

热门文章