该项目计划长期进行维护更新，欢迎star：https://github.com/zstar1003/Qbot

前言

看完流浪地球2之后，萌生了一个想法：我想给机器人完整的一生。作为一个完整的机器人，声音势必是其灵魂所在，正好go-cqhttp支持的CQ码可以发送语音信息，那么就来研究一下TTS(Text To Speech)的相关成果。

讯飞文字转语音Api

科大讯飞是国内NLP巨头之一，此次先来尝试使用其免费的TTS接口。

首先在科大讯飞开发者平台上创建应用。

对于新用户，讯飞赠送了一年50000次的免费调用量，创建完应用，可以获得三个值APPID、APISecret和APIKey。

查阅官方文档，下面是python写的一个调用示例：

import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import osSTATUS_FIRST_FRAME = 0  # 第一帧的标识
STATUS_CONTINUE_FRAME = 1  # 中间帧标识
STATUS_LAST_FRAME = 2  # 最后一帧的标识class Ws_Param(object):# 初始化def __init__(self, APPID, APIKey, APISecret, Text):self.APPID = APPIDself.APIKey = APIKeyself.APISecret = APISecretself.Text = Text# 公共参数(common)self.CommonArgs = {"app_id": self.APPID}# 业务参数(business)，更多个性化参数可在官网查看self.BusinessArgs = {"aue": "lame", "auf": "audio/L16;rate=16000", "vcn": "aisbabyxu", "tte": "utf8"}self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-8')), "UTF8")}# 使用小语种须使用以下方式，此处的unicode指的是 utf16小端的编码方式，即"UTF-16LE"”# self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-16')), "UTF8")}# 生成urldef create_url(self):url = 'wss://tts-api.xfyun.cn/v2/tts'# 生成RFC1123格式的时间戳now = datetime.now()date = format_date_time(mktime(now.timetuple()))# 拼接字符串signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"signature_origin += "date: " + date + "\n"signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"# 进行hmac-sha256进行加密signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),digestmod=hashlib.sha256).digest()signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (self.APIKey, "hmac-sha256", "host date request-line", signature_sha)authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')# 将请求的鉴权参数组合为字典v = {"authorization": authorization,"date": date,"host": "ws-api.xfyun.cn"}# 拼接鉴权参数，生成urlurl = url + '?' + urlencode(v)# print("date: ",date)# print("v: ",v)# 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释，比对相同参数时生成的url与自己代码生成的url是否一致# print('websocket url :', url)return urldef on_message(ws, message):try:message = json.loads(message)code = message["code"]sid = message["sid"]audio = message["data"]["audio"]audio = base64.b64decode(audio)status = message["data"]["status"]print(message)if status == 2:# print("ws is closed")ws.close()if code != 0:errMsg = message["message"]# print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))else:with open('./demo.mp3', 'ab') as f:f.write(audio)except Exception as e:print("receive msg,but parse exception:", e)# 收到websocket错误的处理
def on_error(ws, error):print("### error:", error)# 收到websocket关闭的处理
def on_close(ws):print("### closed ###")# 收到websocket连接建立的处理
def on_open(ws):def run(*args):d = {"common": wsParam.CommonArgs,"business": wsParam.BusinessArgs,"data": wsParam.Data,}d = json.dumps(d)# print("------>开始发送文本数据")ws.send(d)if os.path.exists('./demo.mp3'):os.remove('./demo.mp3')thread.start_new_thread(run, ())if __name__ == "__main__":# 测试时候在此处正确填写相关信息即可运行wsParam = Ws_Param(APPID='自己的', APISecret='自己的',APIKey='自己的',Text="需要生成语音的文字")websocket.enableTrace(False)wsUrl = wsParam.create_url()ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)ws.on_open = on_openws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})

其中控制台获得的三个参数替换成自己的。

运行之后，生成的demo.mp3即为所需结果。

在请求参数中，vcn可以控制切换合成语音的人物，不过免费版本仅只有五个人物可切换，声线比较一般。

VITS派蒙复读机

目前，在TTS领域，VITS将Flow-VAE应用到了完全端到端的TTS任务中，取得了非常好的成效。
相关论文：https://arxiv.org/abs/2106.0610

在Github上，有人使用VITS对派蒙的数据集进行了训练，效果听起来还不错。
相关仓库：https://github.com/JOETtheIV/VITS-Paimon

原作者使用Colab作为实验环境，我将其进行了简化重构，以便适合本地部署。
本地部署版代码：https://github.com/zstar1003/VITS

VITS接入Qbot

go-cqhttp的官方文档给出了发送语音的CQ码，相关格式如下：

使用之前，需先在本地安装好ffmpeg。

下载链接：https://www.gyan.dev/ffmpeg/builds/ffmpeg-release-full.7z

下载好后，将D:\ffmpeg-6.0-full_build\bin路径添加到环境变量。(这里的路径指向解压包的bin文件夹)

在控制台输入ffmpeg，弹出下列内容，说明安装成功。

配置完之后，在Qbot框架下，调用cq码就很容易了，相关代码如下，完整源码可参阅文首仓库。

# 发送语音信息
def send_group_record(gid):try:v_path = r'file:///C:\Users\zstar\Desktop\QBOT\data\newtest.wav'message = "[CQ:record,file=" + v_path + "]"res = requests.post(url=cqhttp_url + "/send_group_msg",params={'group_id': int(gid), 'message': message}).json()if res["status"] == "ok":print("群语音消息发送成功")else:print("群语音消息发送失败，错误信息：" + str(res['wording']))except:print("群语音消息发送失败")

注：生成的语音文件路径需指定为绝对路径。

【Qbot】6.讯飞文字转语音Api使用/VITS派蒙复读机实现相关推荐

讯飞文字转语音_unity3D
前言讯飞语音是国内的智能语音前沿,有语音合成及语音识别还有一些其他高级的语音服务.前面已经写过一篇unity中使用在线语音的方式,不过由于是国外的网站不稳定,速度相对也慢,目前貌似已经不能用了.所以 ...
uni 讯飞文字转语音详解
嗯, 使用讯飞的这个转语音是有bug的. 安卓8以上会出现合成错误的情况.所以我在网上找了一些简单的解决方法话不多说上代码 test() {var main = plus.android.runti ...
tp5手动整合讯飞文字转语音
只需三步,轻松整合: 1 把讯飞插件放到项目的extend下面 2 新建一个类文件,用于文字转语音 3 应用(记得use video.php use app\common\library\Video ...
长话无需短说讯飞输入法超长语音输入不限时
原标题:长话无需短说讯飞输入法超长语音输入不限时对用户来说,衡量语音输入好坏无外乎两个指标,一个是输入准确率,另一个是识别速度.搭载自然语言理解(NLU)优化模型的讯飞输入法语音识别率提升至98% ...
讯飞小车比赛语音控制（基础）
讯飞小车比赛语音控制第一次写这玩意可能写的不咋地,主要也是看了一些网上的资料后面给了连接,千万不要骂人,不行我删掉.谢谢 1.硬件层面本次比赛所使用的麦克风为ucar小车自带的环形六麦克风阵列,该 ...
讯飞语音识别之语音转文字------java
最近项目要用到语音识别的功能,网上找别人写的都不行,二话不说直接去讯飞官网注册下载了一个sdk,但是个人觉得sdk中并不是很明确的能运行实现功能,于是自己参考下载的sdk中的代码做了一个改动和封装.添 ...
科大讯飞：讯飞输入法日语音交互次数超10亿，将发力5G和AIoT领域
蓝鲸TMT频道10月20日,讯飞输入法在10周年沙龙活动中发布了10.0版本,据介绍,该版本搭载了"动态自适应编解码语音识别引擎",新增的唇形辅助输入,能够提高嘈杂环境及近距离多人 ...
android之基于百度语音合讯飞语音识别的语音交互
app:http://fir.im/gval 这里面包含拨盘UI 开发平台:android studio 模拟一个原始需求如下: 1) 在界面上,通过声音提示用户讲话: 2) 将语音内容转换为 ...
讯飞文本转语音(语音合成TTS)中添加控制静音和停顿方法
讯飞的文本转语音和语音合成TTS中,用标点符号.回车换行可以实现一定的停顿效果.如果想要更长时间的静音或停顿怎么办? 插入停顿这里有个特殊的标记实现静音或停顿,在文字中需要停顿的地方加入 [p100 ...

【Qbot】6.讯飞文字转语音Api使用/VITS派蒙复读机实现

前言

讯飞文字转语音Api

VITS派蒙复读机

VITS接入Qbot

【Qbot】6.讯飞文字转语音Api使用/VITS派蒙复读机实现相关推荐

最新文章

热门文章