【API进阶之路】高考要考口语?我用多模态评测API做了一场10w+刷屏活动
上一期故事说到,我成为了公司技术委员会副主席,上任后的第一件事是建立了一个云容器化的研发资料库,把每个研发硬盘里那点“好东西”都复用出来。(详情查看:《无法想象!大龄码农的硬盘里有这么多宝藏》)
自此以后,老大交给我的撸代码的活越来越少,让我专心把技术委员会做起来。人一闲下来吧,就容易生事儿,这不么,闲着没事做了一个互动小游戏,运营妹子从公众号上推了张海报,居然成了一场10万人参与的刷屏级活动。
咋回事呢?大概是7月25号,我看到一条新闻,北京2021年高考要增加英语口语考试。妈耶,这也太突然了,这不跟产品经理突然提需求、微博的运维赶上明星突然宣布结婚/分手一样让人猝不及防么。
很快,有孩子正上高中的家长都在朋友圈转发了这条消息,这事的关注度这么高啊?总听说运营擅长抓热点,那我是不是也可以做点什么抓住这次热点呢?
对于这个政策,家长和学生最关注最需要的是什么?考口语,首先得知道自己的口语水平怎么样,知道短板在哪才能有针对性地补习提高。那就是说需要口语测评!
我想起之前在华为云官网上看到过一个“多模态评测”API,能够根据朗读视频数据和试题文本,给朗读者的口语评测分数。我可以利用这个API做一个测评类的H5小游戏。
按照我的习惯,实现功能的过程会同步梳理成文档,便于后浪们学习。
《多模态英语口语评测》
内容来源
多模态口语现在还在公测阶段,所以我提前在华为云上申请了公测,当天就公测通过了~(公测链接:https://activity.huaweicloud.com/AI_free0.html?ggw_hd )
步骤一:数据准备
l 支持的video类型包括avi/mp4/webm/mkv/flv等封装格式,视频清晰度不低于240p,帧率不低于25fps,大小限制在10M
l 支持语言:英式英语
l 评测模式:单词评测、句子评测
l 需要把视频转化为对应的base64编码上传
转化举例(Python)
1 2 3 4 5 6 7 8 9 10 11 12 |
#!/usr/bin/env python # encoding: utf-8 import base64 def ToBase64(file, txt): with open(file, 'rb') as fileObj: image_data = fileObj.read() base64_data = base64.b64encode(image_data) fout = open(txt, 'w') fout.write(base64_data.decode()) fout.close() ToBase64("./test.wav",'2.txt') # 音频文件转换为base64 |
步骤二:构建请求
华为云语音交互服务的通用请求方式如下图所示。
备注:
l 多模态评测API目前处于公测阶段,在华为-北京四可以调用,其Endpoint为“sis-ext.cn-north-4.myhuaweicloud.com”。
l 需要确认个人专有华为云项目ID和Token(身份认证)
(项目ID获取方法;Token查询方法)
获取了身份认证后,就可以填写请求了。假设我现在有一个avi格式的文件,想用单词模式去判断口语质量,我要学习的口语是“sit down”。
请求示例是:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
POST https://{endpoint}/v1/{project_id}/assessment/video Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... Request Body: { "config":{ "video_format": "avi", "language": "en_gb", "mode": "word" }, "video_data": "/+MgxAAUeHpMAUkQAANhuRAC...", "ref_text": "sit down" } |
步骤三:返回结果
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
{ "fluency": { "score": 75.02139, "rhythm": 50.042786, "cohesion": 100.0 }, "pronunciation": { "score": 36.817684, "gop": 36.817684 }, "score": 22.09061, "completeness": 0.0, "duration": 2.46, "words": [此后为音素、音标评价结果,其返回结果见下方] |
从返回的结果可以看到:
l 从流利度看:流利度评分75.02;连贯性是满分;韵律弱一点,只有50.04分
l 从发音看:我的发音质量综合打分(score)是36.82分;发音好坏打分是36.82分
l 最后的综合评分:22.09分…
哎,还挺准确,我从小英语口语就差…
还能进行英语口语练习,从发音嘴型、发音效果纠正口语。通过具体的单一单词、音素、音标打分,就能知道需要对哪个单词、音标加强练习了。
以“sit”发音评测为例,反馈结果如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 |
"words": [ { "fluency": { "score": 68.29714, "rhythm": 68.29714 }, "pronunciation": { "score": 24.714167, "gop": 24.714167 }, "out_of_vocabulary": false, "text": "sit", "text_original": "sit", "text_normalised": [ "sit" ], "score": 46.505653, "start_time": 1.03, "end_time": 1.06, "phonemes": [ { "fluency": { "score": 31.643274, "rhythm": 31.643274 }, "pronunciation": { "score": 16.471563, "gop": 16.471563 }, "start_time": 1.03, "end_time": 1.04, "arpa": "S", "ipa": "s" }, { "fluency": { "score": 87.00653, "rhythm": 87.00653 }, "pronunciation": { "score": 28.179922, "gop": 28.179922 }, "start_time": 1.04, "end_time": 1.05, "arpa": "IH", "ipa": "i" }, { "fluency": { "score": 86.241615, "rhythm": 86.241615 }, "pronunciation": { "score": 29.491013, "gop": 29.491013 }, "start_time": 1.05, "end_time": 1.06, "arpa": "T", "ipa": "t" } ] }, ], } |
很快我就把小游戏做完了,以口语能力测评为核心玩法,加入了邀请好友再玩一次的分享引导机制,没想到只是从公司公众号上推了一下,朋友圈里居然刷了屏,上线3天,游戏人数就超过了10万人!一次由研发主导的10W+刷屏活动就这样诞生了,谁说研发不懂运营?
据了解,目前API Explorer平台已开放EI企业智能、计算、应用服务、网络、软件开发平台、视频等70+云服务,共上线2000+个API、6000+个错误码。在前期试运行期间,华为云API Explorer平台上的API接口也已被多家企业成功接入。
点击查看详情:《华为云一站式API解决方案平台API Explorer上线》
华为云API Explorer平台在未来几个月会实现更多功能,比如支持SDK示例代码、CLI等特性,同时也会开放更多的云服务API接口,连接更多开发者实现创新、拓宽创新边界。
点击这里→了解更多精彩内容
【API进阶之路】高考要考口语?我用多模态评测API做了一场10w+刷屏活动相关推荐
- 【API进阶之路】API带来的微创新,打动投资人鼓励我创业
摘要:怎么帮助创作者提高视频的推荐量呢?我发现了:视频的封面图非常重要. 上回说到,老板一拍脑门,交代了一个新项目:小成本开发一款短视频剪辑工具([<[API进阶之路]人少钱少需求多的新项目该怎 ...
- 【API进阶之路】做OCR文字识别,谁说必须要有AI工程师?
摘要:有些功能还真不能光凭自己的直觉和认识,来自一线的声音才是最真实的用户需求.比方说名片录入的需求. 在公司技术委员会副主席这个位置上干了有几个月了,期间,我一方面给研发团队整理各种文档资料,做技术 ...
- 【API进阶之路】帮公司省下20万调研费!如何巧用情感分析API实现用户偏好调研
上次借着高考热点整出一个刷屏的互动游戏之后,我连续被各业务部门请了一周的午饭了,今天运营部,明天品牌部,后天市场部-心里暗搓搓地想,这业务部门的团建经费咋就这么多呢? (详情请查看上集:<高考要 ...
- 【API进阶之路】破圈,用一个API代替10人内容团队
自从学习API以后,我用技术手段相继帮助业务部.市场部解决了不少难题,算是从纯研发破圈发展到了业务端.老板召开业务讨论会的时候也会带上我,希望我能从技术角度帮助公司解决业务问题,提升业务的效率和业绩. ...
- 【API进阶之路】太秃然了,老板要我一周内检测并导入一万个小时的视频
摘要:假期结束后回来上班,走进电梯都有一种特别的感觉,电梯那个植发广告里的大哥看我的眼神好像和之前不太一样- 上回说到,老板奖励7天带薪假,我就回家玩耍了几天,顺便还帮兄弟发不脱当了一回"A ...
- 【API进阶之路】无法想象!大龄码农的硬盘里有这么多宝藏
公司开完年中会后,大家的工作都开始恢复正常,我们也继续按部就班地撸代码(写bug)~偶尔透过办公室的玻璃看到老大跟老板在喝茶,感觉自从上次我影响了公司的战略方向,老板找老大"聊天" ...
- 【API进阶之路】研发需求突增3倍,测试团队集体闹离职
摘要:最近研发的需求量涨了3倍,开发团队拼命赶进度,可苦了测试团队. 本以为从一线研发转管理后会清闲一些,但是没想到,我还要充当救火队员的角色. 到了第四季度,各业务部门都在憋着劲儿冲业绩,毕竟这跟年 ...
- 【API进阶之路】用API打造一条自动化内容生产流水线
摘要:搞定了内容审核之后,我又把抓取工具.内容审核API.文本摘要生成API串联在一起,从抓到审再到编,建立了一条自动化的内容生产流水线,编辑团队只需要做优质内容的推荐就可以了. 上周,运营部将官网上 ...
- 【API进阶之路】逆袭!用关键词抽取API搞定用户需求洞察
最近这半个月的午饭,那可是相当不错,市场老大天天请吃饭,不是外面下馆子,就是从家带饺子.说是感谢我上次帮他省了20万调研费. (详情请戳:如何巧用情感分析API帮公司省下20万调研费) 今天中午他又喊 ...
最新文章
- 前端JavaScripts
- Android环境搭建遭遇Unsupported major.minor version 52.0
- 【渝粤教育】国家开放大学2018年春季 3912T★汽车底盘构造与维修 参考试题
- cuda编程性能 分析工具 nvprof的使用
- Apache JMeter 测试 HTTP接口
- Git初学札记(五)————Branch分支管理
- 视频 java 我行我素管理系统 随堂视频
- django girls_Django Girls Budapest团队的活动筹划技巧
- 《Java就业培训教程》_张孝祥_书内源码_03
- javascript 下载方法
- 从Waterfall到Bidding,开发者离Open Bidding还有多远
- [敛火成丹]Win11Dev-25236.1010专业工作站版-微调
- 简读《SASE安全访问边缘白皮书》| 了解SASE的核心技术及应用场景
- python .npy 存取 dict
- ios 渐变透明背景_骚气渐变色的海报设计怎么做?
- vuex总结(完整版)(亲测)
- linux 多行注释
- 2011年10月大盘下跌大股东增持股票
- 前端:使用CSS3实现酷炫的3D旋转透视
- 阿里国际站详情页上装修轮播功能代码怎么做动画gif图片步骤教程方法技巧
热门文章
- CSS 处理溢出 overflow属性
- es6 遍历 Symbol 属性名
- 爬取人民日报_【爬虫系列】人民日报半个世纪的资料(文末福利)
- C语言printf()、sprintf()、vsprintf() 的区别与联系
- 贪心算法,递归算法,动态规划算法比较与总结
- ROS笔记(16) ArbotiX
- mysql数据库原理与应用武洪萍第三张答案_mysql数据库武洪萍版第四章习题与答案...
- 吴裕雄--天生自然 JAVASCRIPT开发学习: 表单验证
- Maya+3dsMax三维建模
- 【ATT】【second】Decode Ways