Electron对接语音唤醒Windows SDK

一、项目主要依赖

vue
vue-cli-plugin-electron-builder
electron
ffi-napi nodejs操作c++的dll库
ref-napi c++类型转换
js-audio-recorder 录音插件

二、下载SDK

设置好唤醒词后, 下载windowsSdk, 项目需要/bin目录下的msc_x64.dll 和 msc.dll (分别是64位和32位的dll, 按需使用), 以及/bin/msc/res/ivw目录下的wakeupresource.jet(语音唤醒资源文件)

三、配置项目

1. 配置externals, 用于调用第三方库

module.exports = {pluginOptions: {electronBuilder: {externals: ['ffi-napi', 'ref-napi'],}}
}

2. 配置sdk路径

由于开发模式和打包后的环境, 文件路径会产生差别, 所以需要将打包后的sdk路径进行配置

例如将sdk放在根目录的libs文件夹下, 则可以按下面配置:

module.exports = {pluginOptions: {electronBuilder: {builderOptions: {extraResources: {from: 'libs/',to: './'}}}}
}

在代码中配置路径时, 需要进行判断

let libPath = path.resolve('libs/bin/msc_x64.dll')
if (process.env.NODE_ENV !== 'development') {libPath = path.resolve('resources/bin/msc_x64.dll')
}

3. 通过ffi调用dll

1. 主要需要使用sdk的以下方法:

MSPLogin 登录方法
QIVWSessionBegin 开启语音唤醒
QIVWRegisterNotify 注册唤醒监听事件
QIVWAudioWrite 写入音频

头文件都可以在下载的sdk的include文件夹找到

int MSPAPI MSPLogin(const char* usr, const char* pwd, const char* params);typedef int( *ivw_ntf_handler)( const char *sessionID, int msg, int param1, int param2, const void *info, void *userData );const char* MSPAPI QIVWSessionBegin(const char *grammarList, const char *params, int *errorCode);int MSPAPI QIVWSessionEnd(const char *sessionID, const char *hints);int MSPAPI QIVWAudioWrite(const char *sessionID, const void *audioData, unsigned int audioLen, int audioStatus);int MSPAPI QIVWRegisterNotify(const char *sessionID, ivw_ntf_handler msgProcCb, void *userData);int MSPAPI QIVWGetResInfo(const char *resPath, char *resInfo, unsigned int *infoLen, const char *params);

2. ffi配置方法定义

方法的类型需要用到ref-napi进行转义例如,

char* => string
int => ref.types.int
int* => ref.refType(ref.types.int)
unsigned int => ref.types.uint
回调方法 => 'pointer'

注意: char* 和 char *性质是一样的, 都是字符串

所以, 可以把需要的方法定义如下,

const libm = ffi.Library(libPath, {MSPLogin: [ref.types.int, ['string', 'string', 'string']],QIVWSessionBegin: ['string', ['string', 'string', ref.refType(ref.types.int)]],QIVWSessionEnd: [ref.types.int, ['string', 'string']],QIVWAudioWrite: [ref.types.int, ['string', ref.refType(ref.types.void), ref.types.uint, ref.types.int]],QIVWRegisterNotify: [ref.types.int, ['string', 'pointer', ref.refType(ref.types.void)]]
})

方法的使用,就是通过 libm.MSPLogin()来调用即可

唯一需要注意的就是QIVWRegisterNotify方法, 需要传入的是一个回调函数, 上面定义时, 可以使用’pointer’占位

在调用时, 需要使用ffi.Callback创建一个回调, 传入函数中, 例如:

先查看回调函数的定义

typedef int( *ivw_ntf_handler)( const char *sessionID, int msg, int param1, int param2, const void *info, void *userData );

ffi.Callback的第一个参数是返回参数的类型, 第二个参数是传入回调函数的参数类型, 第三个参数是回调的处理

const notifyCallback = ffi.Callback(ref.types.int,['string', ref.types.int, ref.types.int, ref.types.int, ref.refType(ref.types.void), ref.refType(ref.types.void)],(sessionID, msg, param1, param2, info, userData) => {if (msg === 2) {console.log('err', param1)} else if (msg === 1) {console.log('唤醒了', info, userData)this.wakeText = '唤醒了' + Date.now()}global.sharedObj = notifyCallbackreturn 0}
)const notifyResCode = libm.QIVWRegisterNotify(this.sessionId, notifyCallback, null)

注意, 由于callback会被垃圾回收, 所以需要在调用的时候, 赋值到一个全局变量上, 比如global['变量名'] = 回调函数

3. 实时录音传递

初始化录音, 使用单声道, 16位, 16000采样率

this.recorder = new Recorder({sampleBits: 16, // 采样位数，支持 8 或 16，默认是16sampleRate: 16000, // 采样率，支持 11025、16000、22050、24000、44100、48000，根据浏览器默认值，我的chrome是48000numChannels: 1,compiling: true
})

需要使用js-audio-recorder的 V0.5.7 版本, 通过定时调用getNextData方法, 获取当前音频转成buffer传入QIVWAudioWrite方法

由于录音是一直存在缓存中的, 时间长了就会把内存占满, 导致程序崩了.

而我们使用语音唤醒, 不需要留存录音, 所以需要对使用过的音频缓存进行清除

当前的库里清除缓存的方法是clear, 而clear方法没有清除tempPCM, 还是会导致问题, 所以需要重新写个方法, 重新打包

clearCache(): void {this.lBuffer.length = 0;this.rBuffer.length = 0;this.size = 0;this.fileSize = 0;this.PCM = null;this.tempPCM = []this.audioInput = null;this.duration = 0;this.ispause = false;this.isplaying = false;this.playTime = 0;this.totalPlayTime = 0;
}

之后, 我们就可以定时调用下面方法, 来进行音频写入了

async getBuffer () {const data = this.recorder.getWholeData()let arr = []data.forEach(d => {arr = arr.concat(...Buffer.from(d.buffer))})if (this.isBegin) {const buffer = Buffer.from(arr)if (buffer.length === 0) {return}// this.ws.send(buffer)const writeRes = libm.QIVWAudioWrite(this.sessionId, buffer, buffer.length, 2)if (writeRes !== 0) {console.log('写入失败')}}this.recorder.clearCache()
}

最后

整理了一套《前端大厂面试宝典》，包含了HTML、CSS、JavaScript、HTTP、TCP协议、浏览器、VUE、React、数据结构和算法，一共201道面试题，并对每个问题作出了回答和解析。

有需要的小伙伴，可以点击文末卡片领取这份文档，无偿分享

部分文档展示：

文章篇幅有限，后面的内容就不一一展示了

有需要的小伙伴，可以点下方卡片免费领取