Unity接入百度语音识别解决方案

之前有过需求要是语音识别，而百度也提供了对应的.dll文件，后来用了一下在识别的时候占用了主线程，会卡顿，又看了看大佬的解决方案，自己也总结了一下。
总共分为四大部：1获取Token、2开始录音、3录音结束、4上传百度进行识别。
采用上传Put json的方法，返回得到json，再去解析。

using System;
using System.Collections;
using System.Text;
using UnityEngine;
using UnityEngine.Networking;
public class ToWord : MonoBehaviour
{private string token = "";  //access_tokenprivate string cuid = "11";  //用户唯一标识private string format = "pcm"; //语音格式private int dev_pid = 1536;//语言设置private int rate = 16000;  //采样率private int channel = 1;  //声道数private string speech; //语音数据，进行base64编码private int len; //原始语音长度private const string grant_Type = "client_credentials";//固定值private const string API_KEY = "你的API Key";  //百度appkeyprivate const string SECRET_KEY = "你的Secret Key";  //百度Secret Keyprivate const string baiduAPI = "http://vop.baidu.com/server_api";//put地址private const string getTokenAPIPath = "https://openapi.baidu.com/oauth/2.0/token";//获取TokenPost地址AudioClip clip;MyJsonData jsonData = new MyJsonData();private void Awake(){StartCoroutine(GetToken(getTokenAPIPath));}/// <summary>/// 获取百度用户令牌/// </summary>/// <param name="url">获取的url</param>/// <returns></returns>private IEnumerator GetToken(string url){WWWForm form = new WWWForm();form.AddField("grant_type", grant_Type);form.AddField("client_id", API_KEY);form.AddField("client_secret", SECRET_KEY);UnityWebRequest request = UnityWebRequest.Post(url, form);yield return request.SendWebRequest();if (request.error == null){string msg = DownloadHandlerBuffer.GetContent(request);RecodeJson json = JsonUtility.FromJson<RecodeJson>(msg);token = json.access_token;DebugLog("获取百度用户令牌 初始化完成");}else DebugLog("error:" + request.error);}/// <summary>/// 开始录音/// </summary>public void StartMic(int durationTime){if (Microphone.devices.Length == 0) return;Microphone.End(null);DebugLog("Start");clip = Microphone.Start(null, false, durationTime, rate);}/// <summary>/// 结束录音/// </summary>public void EndMic(Action<string> CallBack){DebugLog("录音结束");Microphone.End(null);byte[] clipByte = GetClipData();len = clipByte.Length;speech = Convert.ToBase64String(clipByte);StartCoroutine(GetAudioString(baiduAPI, CallBack));}/// <summary>/// 把语音转换为文字/// </summary>/// <param name="url"></param>/// <returns></returns>private IEnumerator GetAudioString(string url, Action<string> CallBack = null){string resultStr = "";//识别后的结果jsonData.format = format;jsonData.dev_pid = dev_pid;jsonData.rate = rate;jsonData.channel = channel;jsonData.token = token;jsonData.cuid = cuid;jsonData.len = len;jsonData.speech = speech;string jsonStr = JsonUtility.ToJson(jsonData);UnityWebRequest request = UnityWebRequest.Put(url, Encoding.Default.GetBytes(jsonStr));yield return request.SendWebRequest();if (request.isDone){if (request.error == null){string msg = DownloadHandlerBuffer.GetContent(request);RecodeJson json = JsonUtility.FromJson<RecodeJson>(msg);if (json.err_msg == "success."){resultStr = json.result[0];if (CallBack != null) CallBack(resultStr);DebugLog("success：" + resultStr);}}else DebugLog("error:" + request.error);}}/// <summary>/// 把录音转换为Byte[]/// </summary>/// <returns></returns>byte[] GetClipData(){if (clip == null){DebugLog("DataNull");return null;}float[] samples = new float[clip.samples];clip.GetData(samples, 0);byte[] outData = new byte[samples.Length * 2];int rescaleFactor = 32767; //to convert float to Int16   for (int i = 0; i < samples.Length; i++){short temshort = (short)(samples[i] * rescaleFactor);byte[] temdata = System.BitConverter.GetBytes(temshort);outData[i * 2] = temdata[0];outData[i * 2 + 1] = temdata[1];}if (outData == null || outData.Length <= 0){DebugLog("ConvertDataNull");return null;}return outData;}void DebugLog(string mes){
#if UNITY_EDITORDebug.Log(mes);
#endif}private void OnGUI(){if (GUILayout.Button("开始录音"))StartMic(10);if (GUILayout.Button("结束录音"))EndMic(ToWordOverAction);}/// <summary>/// 识别结束的回调/// </summary>/// <param name="str"></param>void ToWordOverAction(string str){switch (str){case "123":print("123");break;}}
}
public class MyJsonData
{public string format;public int dev_pid;public int rate;public int channel;public string token;public string cuid;public int len;public string speech;
}
[Serializable]
public class RecodeJson
{public string access_token;public string err_msg;public string[] result;
}

Unity接入百度语音识别解决方案相关推荐

Unity接入百度语音识别WebAPI
第一步,布局如图 image.png 第二步,代码如下 (自行填写apiKey和secretKey) using System; using System.Collections; using Sys ...
Unity接入百度语音识别SDK windows平台
1.先注册百度开放平台的账号,然后按文档申请试用资格及创建应用:https://ai.baidu.com/ai-doc/SPEECH/qknh9i8ed Windows平台选择"不需要&qu ...
unity接入百度人体识别
unity接入百度人体识别 1.去百度下载SDK 复制AipSdk.dll到工程复制Newtonsoft.Json.dll到工程自己按照unity版本,选择2.0,3.5,还是4.0的dll 2. ...
javaAPI和android sdk接入百度语音识别
最近由于一项目需求,需要实现上位机对下位机的语音控制,(嫌弃语音模块太贵,才想着做没有成本的方法实现),这里主要测试了两种调用百度语音识别API的方案,一种是基于SDK(这里测试使用Android S ...
Unity 接入百度AI - 通用物体和场景识别
接口介绍: 可识别超过10万类常见物体和场景,接口返回大类及细分类的名称,并支持获取识别结果对应的百科信息:还可使用EasyDL定制训练平台,定制识别分类标签.广泛适用于图像或视频内容分析.拍照识图等 ...
Unity 接入百度AI - 植物识别
接口介绍: 可识别超过2万种常见植物和近8千种花卉,接口返回植物的名称,并支持获取识别结果对应的百科信息:还可使用EasyDL定制训练平台,定制识别植物种类.适用于拍照识图.幼教科普.图像内容分析等场 ...
Unity 接入百度AI - 动物识别
接口介绍: 识别近八千种动物,接口返回动物名称,并可获取识别结果对应的百科信息:还可使用EasyDL定制训练平台,定制识别分类标签.适用于拍照识图.幼教科普.图像内容分析等场景创建应用: ...
Unity 接入百度AI - 红酒识别
接口介绍: 识别图像中的红酒标签,返回红酒名称.国家.产区.酒庄.类型.糖分.葡萄品种.酒品描述等信息,可识别数十万中外红酒:支持自定义红酒图库,在自建库中搜索特定红酒信息. 创建应用: 在 ...
Unity 接入百度AI - 车型识别
接口介绍: 该请求用于检测一张车辆图片的具体车型.即对于输入的一张图片(可正常解码,且长宽比适宜),输出图片的车辆品牌及型号. 创建应用: 在产品服务中搜索图像识别,创建应用,获取AppID ...

Unity接入百度语音识别解决方案

Unity接入百度语音识别解决方案相关推荐

最新文章

热门文章