【智能家居】设计一种语音控制识别规则模型---结合思必驰DUI平台
目录
- 智能家具语音识别应用场景
- 控制音乐播放
- 结合思必驰DUI平台
- 智能家居设备控制
- 设备控制
- 场景控制
- DUI平台智能家居技能解析
- 设计一个简单的语音控制流程
- 语音匹配规则模型
- 语音识别处理流程
- 优化的点
智能家具语音识别应用场景
相信大家或多或少接触过语音识别产品,例如天猫精灵、百度音响这些IOT设备,或者siri、小爱同学这些手机语音引擎。现在再框定智能家居应用,语音识别功能就比较清晰了。鄙人根据行业经验,将其概括为以下几点:
控制音乐播放
譬如家庭音乐主机、车机、音箱等产品,都离不开播放音乐这一项能力。在此场景下,包括但不限于以下热点语音词:
a、该能力触发类语音:“帮我放首歌”、“我想听音乐”
b、该能力特有技能语音:“播放流行音乐”、“播放刘德华的歌”
c、通用能力控制类语音:“下一首”、“暂停”、“继续播放”、“结束播放”、“增大音量”
结合思必驰DUI平台
a、首先需要在DUI平台需要在平台按照指引创建项目和产品,就不赘述了,可以去官网实操一下https://www.duiopen.com/;
b、关于音乐播放,dui平台上作为一个在线技能展示
音乐技能也分了好多种,如下图所示,开发者可以配置成酷我、咪咕、QQ音乐、HIFI资源等对接方式。对接方式主要分为APK对接、SDK对接、webAPI对接:前两者需要定制第三方的软件,一般个人开发是获取不到的;webapi对接则是根据返回的在线音频资源链接,进行播放;
c、当然也可以完全本地播放,根据返回的技能,识别到是要触发音乐播放,然后调用本地的音乐播放接口;
d、播放控制则是走的另一个技能“播放控制”,譬如下一首、暂停等操作;
智能家居设备控制
智能家居语音控制可以概括成以下几个因素:
操作类型 + 房间/分组 + 对象昵称 + 操作的设备属性名 + 参数
根据常见的智能家居技能,从“设备控制”、“场景控制”两种分析一下:
设备控制
对于设备控制,触发的语音类似于"打开客厅灯"、“关闭所有开关”、客厅空调开到27度等等。这些分解成关键因素就成了
a、开关 + 客厅 + 灯 + 电源开关 + 1
b、开关 + ALL + 开关 + 电源开关 + 0
c、调温 + 客厅 + 空调 + 温度 + 27
场景控制
对于场景控制,触发的语音类似于"打开会客场景"、“打开主卧睡眠模式”等等。相对于设备属性控制,场景控制的关键因素就比较少,只构成:打开 + 地点 + 场景名
DUI平台智能家居技能解析
源数据:
{“skillId”:“2019052300000366”,“recordId”:“f4e73f6cd5d84d4d9c5d96c99b4a76ef”,“dm”:{“intentId”:“5efd78314b389a0001ace3d0”,“nlg”:“”,“status”:1,“widget”:{“type”:“text”,“duiWidget”:“text”,“widgetName”:“default”,“name”:“default”},“command”:{“api”:“DUI.SmartHome.Device.TurnOn”,“param”:{“location”:“阳台”,“deviceType”:“窗帘”}},“shouldEndSession”:true,“speak”:{“text”:“”,“type”:“text”},“input”:“打开阳台窗帘”,“runSequence”:“nlgFirst”,“intentName”:“设备控制”,“task”:“家居控制”,“taskId”:“5ce646e359864e000d4063d9”},“contextId”:“e2b4462ce21343ba899533c8dd0ced56”,“sessionId”:“e2b4462ce21343ba899533c8dd0ced56”,“requestId”:“f4e73f6cd5d84d4d9c5d96c99b4a76ef”,“skill”:“智能家居”}
以上参数主要选取:DUI.SmartHome.Device.TurnOn", // param":{“location”:“阳台”,“deviceType”:“窗帘”}},
转换语义为:打开阳台上的,名字带“窗帘”的设备;或者阳台上的窗帘类型设备;根据需求来选定语义
设计一个简单的语音控制流程
首先为什么是简单的呢,就是我们仅仅使用枚举法去覆盖不同的语音输入,不在枚举之内就无法识别。其次对于离线,很简单,这是一种部署在IOT设备上的语音规则引擎,可以脱离云平台工作。
语音匹配规则模型
根据上文分析的智能家居设备、场景控制关键因素,我们设计一种语音匹配规则模型,能实现大多数的需求。
[{
“version”:“1.0”,
“words”:[
“打开客厅灯”,
“开灯”
],
“operate”:[{
“type”:“设备控制”,
“location”:“客厅”,
“dev_name”:“客厅灯”,
“dev_type”:“1”,
“opt_item”:[{
“identifier”:“电源开关”,
“value”:“1”
},{
“identifier”:“Level”,
“value”:“100”
}]
}]
},{
“version”:“1.0”,
“words”:[
“睡眠模式”
],
“operate”:[{
“type”:“场景控制”,
“location”:“主卧”,
“sence_name”:“会客场景”,
}]
}]
语音识别处理流程
优化的点
对于语音输入词条枚举匹配的优化—设法训练一个人工神经网络,将词条解析成不同的语义,就像人脑的处理流程。
【智能家居】设计一种语音控制识别规则模型---结合思必驰DUI平台相关推荐
- 智能家居 (5) ——智能家居项目整合(语音控制线程,网络控制线程、烟雾报警线程)
目录 一.主函数 mianPro.c 二.指令工厂 voiceControl.c socketControl.c inputCommand.h 三.设备工厂 smokeAlarm.c buzzer.c ...
- 智能家居--传统风扇改语音控制
最近在玩智能家居,把家里所有的设备一点点改造成了语音控制,根据自己的生活习惯,设置各种联动场景,从此解放双手. 但是在改造家里的传统按钮风扇时,我第一时间想到的是智能插座,或者是成本更加便宜的通断器. ...
- 大厂林立,思必驰推可定制开发语音交互技术!
一年一度的SACC大会又在金秋时节准时与大家见面了!下午的语音识别技术专场集结了来自众多大厂的技术一线专家--先声教育.阿里巴巴.搜狗.滴滴.思必驰......从Siri问世时语音识别技术的可有可无, ...
- AWE2018观察:智能电视成黑马,思必驰获双料大奖
2018年3月8日至3月11日,AWE2018中国家电及消费电子博览会在上海举行.作为全球三大家电及消费电子展会之一,本届AWE2018吸引了800余家国内外知名企业参展,展示了家用电器.消费电子.智 ...
- 智能家居 (8) ——智能家居项目整合(网络控制线程、语音控制线程,火灾报警线程)
目录 mainPro.c(主函数) 指令工厂 inputCommand.h voiceControl.c(语音控制) socketControl.c(网络线程) 控制工厂 contrlEquipmen ...
- 智能家居 (7) ——网络服务器线程控制
目录 网络线程控制代码 inputCommand.h mainPro.c socketControl.c 代码测试 往期文章 网络线程控制代码 inputCommand.h #include < ...
- 一种语音控制PPT翻页系统的制作方法
本实用新型属于智能语音领域,特别是涉及一种语音控制PPT翻页系统. 背景技术: 随着计算机技术.投影技术和网络技术的发展,各行各业的工作已经离不开计算机的参与.多媒体演示已经受到了人们的广泛应用.而多 ...
- 百度智能车竞赛丝绸之路1——智能车设计与编程实现控制
百度智能车竞赛丝绸之路1--智能车设计与编程实现控制 百度智能车竞赛丝绸之路2--手柄控制 一.项目简介 本项目现已基于鲸鱼机器人开发套件对其整体外形进行设计,并且对应于实习内容--以"丝绸 ...
- 智能家居设计新生态 “小Home Assistant” 智汀一站式全屋智能解决方案
家,是我们栖息,给我们带来温暖.安全的港湾.随着时间的推移,技术的不断进步,智能家居变得越来越重要,具有实用性和颜值的智能产品设计会令人心情愉悦,同时也让我们的家居生活更加便捷和舒适.智能家居的设计, ...
最新文章
- aps是什么意思_全画幅大还是中画幅大? 为什么说底大一级压死人
- kali linux 渗透测试 01 kali介绍
- 【ArcGIS Pro微课1000例】0002:ArcGIS Pro 2.5二三维联动显示
- linux 平行运行命令,Linux paste命令
- 前端项目集成 stylelint
- mysql repair 索引_MySQ索引操作命令总结(创建、重建、查询和删除索引命令详解)...
- HDU 6098 Inversion 思维
- 城市规划图例符号_城市规划图例符号
- docker安装gamit_Ubuntu 14.04下Gamit10.5安装
- 数据分析之 AB测试(AB Test)
- Android 11 AppOps setOnOpNotedCallback实现分析
- CTF学习笔记:misc
- 做程序员累了想要转行?我想给大家分享一下看法
- Win7/8.1免费升级Win10-三种秘钥
- 刷屏的Google Pay:羊毛是你的,你是我的
- 中国自主研发的USB2.0 HUB芯片,即将发布CH334 和CH335工业级
- 不一样得Device /dev/sdb1 excluded by a filter.
- java汉字转拼音(全拼、简拼)
- java毕业设计读书网络社区设计Mybatis+系统+数据库+调试部署
- MobaXterm的SOCKS代理连接与bitvise client 软件的C2S与S2C连接