ROS实战( 三 )利用科大讯飞tts实现ROS下语音合成播报
一.前言
继上篇博客的内容,下面主要介绍流程:
我们从图中可以看出,首先xf_tts节点订阅了/voice/xf_tts_topic这个话题,这个话题的类型是std_msgs/String,然后通过调用科大讯飞在线合成代码形成节点将收到的文本输入进语音合成文件,文件类型是.wav,最后通过system函数来调用play命令,来播放.wav文件.
二.操作流程
首先默认你安装了ros,,并配置好了相关的路径和环境,没有安装的参考我这篇博客
https://blog.csdn.net/weixin_40522162/article/details/79244089
打开终端,cd到ros工作路径下源文件下,即/catkin_ws/src下,首先创建一个自己的包
catkin_create_pkg voice_system roscpp rospy std_msgs
cd到你下载的科大讯飞sdk下,即/samples下
cp tts_sample.c ~/catkin_ws/src/voice_system/src/
cd ../../include
cp * ~/catkin_ws/src/voice_system/include/
cd ~/catkin_ws/src/voice_system/src
mv tts_sample.c xf_tts.cpp
vim xf_tts.cpp
未修改的tts_sample.c如下:
/*
* 语音合成(Text To Speech,TTS)技术能够自动将任意文字实时转换为连续的
* 自然语音,是一种能够在任何时间、任何地点,向任何人提供语音信息服务的
* 高效便捷手段,非常符合信息时代海量数据、动态更新和个性化查询的需求。
*/#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>#include "qtts.h"
#include "msp_cmn.h"
#include "msp_errors.h"/* wav音频头部格式 */
typedef struct _wave_pcm_hdr
{char riff[4]; // = "RIFF"int size_8; // = FileSize - 8char wave[4]; // = "WAVE"char fmt[4]; // = "fmt "int fmt_size; // = 下一个结构体的大小 : 16short int format_tag; // = PCM : 1short int channels; // = 通道数 : 1int samples_per_sec; // = 采样率 : 8000 | 6000 | 11025 | 16000int avg_bytes_per_sec; // = 每秒字节数 : samples_per_sec * bits_per_sample / 8short int block_align; // = 每采样点字节数 : wBitsPerSample / 8short int bits_per_sample; // = 量化比特数: 8 | 16char data[4]; // = "data";int data_size; // = 纯数据长度 : FileSize - 44
} wave_pcm_hdr;/* 默认wav音频头部数据 */
wave_pcm_hdr default_wav_hdr =
{{ 'R', 'I', 'F', 'F' },0,{'W', 'A', 'V', 'E'},{'f', 'm', 't', ' '},16,1,1,16000,32000,2,16,{'d', 'a', 't', 'a'},0
};
/* 文本合成 */
int text_to_speech(const char* src_text, const char* des_path, const char* params)
{int ret = -1;FILE* fp = NULL;const char* sessionID = NULL;unsigned int audio_len = 0;wave_pcm_hdr wav_hdr = default_wav_hdr;int synth_status = MSP_TTS_FLAG_STILL_HAVE_DATA;if (NULL == src_text || NULL == des_path){printf("params is error!\n");return ret;}fp = fopen(des_path, "wb");if (NULL == fp){printf("open %s error.\n", des_path);return ret;}/* 开始合成 */sessionID = QTTSSessionBegin(params, &ret);if (MSP_SUCCESS != ret){printf("QTTSSessionBegin failed, error code: %d.\n", ret);fclose(fp);return ret;}ret = QTTSTextPut(sessionID, src_text, (unsigned int)strlen(src_text), NULL);if (MSP_SUCCESS != ret){printf("QTTSTextPut failed, error code: %d.\n",ret);QTTSSessionEnd(sessionID, "TextPutError");fclose(fp);return ret;}printf("正在合成 ...\n");fwrite(&wav_hdr, sizeof(wav_hdr) ,1, fp); //添加wav音频头,使用采样率为16000while (1) {/* 获取合成音频 */const void* data = QTTSAudioGet(sessionID, &audio_len, &synth_status, &ret);if (MSP_SUCCESS != ret)break;if (NULL != data){fwrite(data, audio_len, 1, fp);wav_hdr.data_size += audio_len; //计算data_size大小}if (MSP_TTS_FLAG_DATA_END == synth_status)break;printf(">");usleep(150*1000); //防止频繁占用CPU}printf("\n");if (MSP_SUCCESS != ret){printf("QTTSAudioGet failed, error code: %d.\n",ret);QTTSSessionEnd(sessionID, "AudioGetError");fclose(fp);return ret;}/* 修正wav文件头数据的大小 */wav_hdr.size_8 += wav_hdr.data_size + (sizeof(wav_hdr) - 8);/* 将修正过的数据写回文件头部,音频文件为wav格式 */fseek(fp, 4, 0);fwrite(&wav_hdr.size_8,sizeof(wav_hdr.size_8), 1, fp); //写入size_8的值fseek(fp, 40, 0); //将文件指针偏移到存储data_size值的位置fwrite(&wav_hdr.data_size,sizeof(wav_hdr.data_size), 1, fp); //写入data_size的值fclose(fp);fp = NULL;/* 合成完毕 */ret = QTTSSessionEnd(sessionID, "Normal");if (MSP_SUCCESS != ret){printf("QTTSSessionEnd failed, error code: %d.\n",ret);}return ret;
}int main(int argc, char* argv[])
{int ret = MSP_SUCCESS;const char* login_params = "appid = 5afcee34, work_dir = .";//登录参数,appid与msc库绑定,请勿随意改动/** rdn: 合成音频数字发音方式* volume: 合成音频的音量* pitch: 合成音频的音调* speed: 合成音频对应的语速* voice_name: 合成发音人* sample_rate: 合成音频采样率* text_encoding: 合成文本编码格式**/const char* session_begin_params = "voice_name = xiaoyan, text_encoding = utf8, sample_rate = 16000, speed = 50, volume = 50, pitch = 50, rdn = 2";const char* filename = "tts_sample.wav"; //合成的语音文件名称const char* text = "亲爱的用户,您好,这是一个语音合成示例,感谢您对科大讯飞语音技术的支持!科大讯飞是亚太地区最大的语音上市公司,股票代码:002230"; //合成文本/* 用户登录 */ret = MSPLogin(NULL, NULL, login_params);//第一个参数是用户名,第二个参数是密码,第三个参数是登录参数,用户名和密码可在http://www.xfyun.cn注册获取if (MSP_SUCCESS != ret){printf("MSPLogin failed, error code: %d.\n", ret);goto exit ;//登录失败,退出登录}printf("\n###########################################################################\n");printf("## 语音合成(Text To Speech,TTS)技术能够自动将任意文字实时转换为连续的 ##\n");printf("## 自然语音,是一种能够在任何时间、任何地点,向任何人提供语音信息服务的 ##\n");printf("## 高效便捷手段,非常符合信息时代海量数据、动态更新和个性化查询的需求。 ##\n");printf("###########################################################################\n\n");/* 文本合成 */printf("开始合成 ...\n");ret = text_to_speech(text, filename, session_begin_params);if (MSP_SUCCESS != ret){printf("text_to_speech failed, error code: %d.\n", ret);}printf("合成完毕\n");exit:printf("按任意键退出 ...\n");getchar();MSPLogout(); //退出登录return 0;
}
将它修改成ros的节点文件如下:
/*
* 语音合成(Text To Speech,TTS)技术能够自动将任意文字实时转换为连续的
* 自然语音,是一种能够在任何时间、任何地点,向任何人提供语音信息服务的
* 高效便捷手段,非常符合信息时代海量数据、动态更新和个性化查询的需求。
*/#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <ros/ros.h>
#include <std_msgs/String.h> #include "qtts.h"
#include "msp_cmn.h"
#include "msp_errors.h"const char* fileName="/home/zc/Music/voice.wav";
const char* playPath="play /home/zc/Music/voice.wav";/* wav音频头部格式 */
typedef struct _wave_pcm_hdr
{char riff[4]; // = "RIFF"int size_8; // = FileSize - 8char wave[4]; // = "WAVE"char fmt[4]; // = "fmt "int fmt_size; // = 下一个结构体的大小 : 16short int format_tag; // = PCM : 1short int channels; // = 通道数 : 1int samples_per_sec; // = 采样率 : 8000 | 6000 | 11025 | 16000int avg_bytes_per_sec; // = 每秒字节数 : samples_per_sec * bits_per_sample / 8short int block_align; // = 每采样点字节数 : wBitsPerSample / 8short int bits_per_sample; // = 量化比特数: 8 | 16char data[4]; // = "data";int data_size; // = 纯数据长度 : FileSize - 44
} wave_pcm_hdr;/* 默认wav音频头部数据 */
wave_pcm_hdr default_wav_hdr =
{{ 'R', 'I', 'F', 'F' },0,{'W', 'A', 'V', 'E'},{'f', 'm', 't', ' '},16,1,1,16000,32000,2,16,{'d', 'a', 't', 'a'},0
};
/* 文本合成 */
int text_to_speech(const char* src_text, const char* des_path, const char* params)
{int ret = -1;FILE* fp = NULL;const char* sessionID = NULL;unsigned int audio_len = 0;wave_pcm_hdr wav_hdr = default_wav_hdr;int synth_status = MSP_TTS_FLAG_STILL_HAVE_DATA;if (NULL == src_text || NULL == des_path){printf("params is error!\n");return ret;}fp = fopen(des_path, "wb");if (NULL == fp){printf("open %s error.\n", des_path);return ret;}/* 开始合成 */sessionID = QTTSSessionBegin(params, &ret);if (MSP_SUCCESS != ret){printf("QTTSSessionBegin failed, error code: %d.\n", ret);fclose(fp);return ret;}ret = QTTSTextPut(sessionID, src_text, (unsigned int)strlen(src_text), NULL);if (MSP_SUCCESS != ret){printf("QTTSTextPut failed, error code: %d.\n",ret);QTTSSessionEnd(sessionID, "TextPutError");fclose(fp);return ret;}printf("正在合成 ...\n");fwrite(&wav_hdr, sizeof(wav_hdr) ,1, fp); //添加wav音频头,使用采样率为16000while (1) {/* 获取合成音频 */const void* data = QTTSAudioGet(sessionID, &audio_len, &synth_status, &ret);if (MSP_SUCCESS != ret)break;if (NULL != data){fwrite(data, audio_len, 1, fp);wav_hdr.data_size += audio_len; //计算data_size大小}if (MSP_TTS_FLAG_DATA_END == synth_status)break;printf(">");usleep(15*1000); //防止频繁占用CPU}printf("\n");if (MSP_SUCCESS != ret){printf("QTTSAudioGet failed, error code: %d.\n",ret);QTTSSessionEnd(sessionID, "AudioGetError");fclose(fp);return ret;}/* 修正wav文件头数据的大小 */wav_hdr.size_8 += wav_hdr.data_size + (sizeof(wav_hdr) - 8);/* 将修正过的数据写回文件头部,音频文件为wav格式 */fseek(fp, 4, 0);fwrite(&wav_hdr.size_8,sizeof(wav_hdr.size_8), 1, fp); //写入size_8的值fseek(fp, 40, 0); //将文件指针偏移到存储data_size值的位置fwrite(&wav_hdr.data_size,sizeof(wav_hdr.data_size), 1, fp); //写入data_size的值fclose(fp);fp = NULL;/* 合成完毕 */ret = QTTSSessionEnd(sessionID, "Normal");if (MSP_SUCCESS != ret){printf("QTTSSessionEnd failed, error code: %d.\n",ret);}return ret;
}
/* make topic callback to wav file */
void makeTextToWav(const char* text,const char* filename)
{int ret=MSP_SUCCESS;const char* login_params="appid = 5afcee34, work_dir = .";//登录参数,appid与msc库绑定,请勿随意改动/** rdn: 合成音频数字发音方式* volume: 合成音频的音量* pitch: 合成音频的音调* speed: 合成音频对应的语速* voice_name: 合成发音人* sample_rate: 合成音频采样率* text_encoding: 合成文本编码格式**/const char* session_begin_params = "voice_name = xiaowanzi, text_encoding = utf8, sample_rate = 16000, speed = 60, volume = 60, pitch = 50, rdn = 0";/* const char* filename = "tts_sample.wav"; //合成的语音文件名称const char* text = "大家好,我叫小倩,我今年15岁,我的车牌号是A123456,今天是2018年5月17号"; //合成文本 *//* 用户登录 */ret = MSPLogin(NULL, NULL, login_params);//第一个参数是用户名,第二个参数是密码,第三个参数是登录参数,用户名和密码可在http://www.xfyun.cn注册获取if (MSP_SUCCESS != ret){printf("MSPLogin failed, error code: %d.\n", ret);}/* 文本合成 */
else
{printf("开始合成 ...\n");ret = text_to_speech(text, filename, session_begin_params);if (MSP_SUCCESS != ret){printf("text_to_speech failed, error code: %d.\n", ret);}printf("合成完毕\n");
}MSPLogout();
}
/* play compose.wav file */
void playWav()
{
system(playPath);
}
/* topic auto invoke,make text to wav file,then play wav file */
void topicCallBack(const std_msgs::String::ConstPtr& msg)
{
std::cout<<"get topic text:"<<msg->data.c_str();makeTextToWav(msg->data.c_str(),fileName);playWav();}
int main(int argc, char* argv[])
{
const char* start = "科大讯飞在线语音合成模块启动成功";
makeTextToWav(start,fileName);
playWav();ros::init(argc,argv,"xf_tts_node");ros::NodeHandle nd;ros::Subscriber sub = nd.subscribe("/voice/xf_tts_topic",3,topicCallBack);ros::spin();return 0;
}
总的修改思路如下:将main函数里的内容剪切,然后放进另一个自己定义的函数里,那么main函数里面空了.参考发布节点的main函数里的格式,在main函数里面加入初始化,句柄,回调函数,订阅者等内容,另外开头加上ROS的头文件以及消息类型的头文件,具体参考如下wiki上的编写订阅器节点文件:
#include "ros/ros.h"
#include "std_msgs/String.h"/*** This tutorial demonstrates simple receipt of messages over the ROS system.*/
void chatterCallback(const std_msgs::String::ConstPtr& msg)
{ROS_INFO("I heard: [%s]", msg->data.c_str());
}int main(int argc, char **argv)
{/*** The ros::init() function needs to see argc and argv so that it can perform* any ROS arguments and name remapping that were provided at the command line. For programmatic* remappings you can use a different version of init() which takes remappings* directly, but for most command-line programs, passing argc and argv is the easiest* way to do it. The third argument to init() is the name of the node.** You must call one of the versions of ros::init() before using any other* part of the ROS system.*/ros::init(argc, argv, "listener");/*** NodeHandle is the main access point to communications with the ROS system.* The first NodeHandle constructed will fully initialize this node, and the last* NodeHandle destructed will close down the node.*/ros::NodeHandle n;/*** The subscribe() call is how you tell ROS that you want to receive messages* on a given topic. This invokes a call to the ROS* master node, which keeps a registry of who is publishing and who* is subscribing. Messages are passed to a callback function, here* called chatterCallback. subscribe() returns a Subscriber object that you* must hold on to until you want to unsubscribe. When all copies of the Subscriber* object go out of scope, this callback will automatically be unsubscribed from* this topic.** The second parameter to the subscribe() function is the size of the message* queue. If messages are arriving faster than they are being processed, this* is the number of messages that will be buffered up before beginning to throw* away the oldest ones.*/ros::Subscriber sub = n.subscribe("chatter", 1000, chatterCallback);/*** ros::spin() will enter a loop, pumping callbacks. With this version, all* callbacks will be called from within this thread (the main one). ros::spin()* will exit when Ctrl-C is pressed, or the node is shutdown by the master.*/ros::spin();
return 0;
}
最后cmakelist里加上要执行的文件以及依赖库
add_executable(xf_tts_node src/xf_tts.cpp)
target_link_libraries(xf_tts_node ${catkin_LIBRARIES} -lmsc -lrt -ldl -lpthread)
以及前面include_directories里加上include
include_directories(include${catkin_INCLUDE_DIRS}
)
这样就行了
三.测试运行
开多个终端
第一个终端
roscore
第二个终端
rosrun voice_system xf_tts_node
可以听见科大讯飞在线语音模块启动成功的声音
这时可以打开topic看看有哪些节点在运行,以及手动用命令发布消息让其播报
命令如下:
rostopic list
rostopic info /voice/xf_tts_topic
rostopic pub /voice/xf_tts_topic std_msgs/String "你好"
贴图如下:
这时能听见你好的声音,说明成功了.程序改的没问题.
ROS实战( 三 )利用科大讯飞tts实现ROS下语音合成播报相关推荐
- ROS语音交互(三)科大讯飞语音在ROS平台下使用
以上节tts语音输出为例 下载sdk链接:http://www.xfyun.cn/sdk/dispatcher 1.下载SDK,解压: 2.在ROS工作空间下创建一个Package: catkin_c ...
- 利用科大讯飞语音合成模块SDK实现ROS语音交互
利用科大讯飞语音合成模块SDK实现ROS语音交互 本文内容与CSDN博主「AI Chen」的原创文章相同,可以直接参考原文:https://blog.csdn.net/qq_39400324/arti ...
- 自动驾驶系统进阶与项目实战(三)基于全卷积神经网络的点云三维目标检测和ROS实战
自动驾驶系统进阶与项目实战(三)基于全卷积神经网络的点云三维目标检测和ROS实战 前面入门系列的文章中我介绍了几种点云三维分割/目标检测模型,在做点云预处理上,有通过球面投射(SqueezeNet)得 ...
- ROS学习笔记三:编写第一个ROS节点程序
在编写第一个ROS节点程序之前需要创建工作空间(workspace)和功能包(package). 一.创建工作空间(workspace) 创建一个catkin_ws: #注意:如果使用sudo一次性创 ...
- SLAM导航机器人零基础实战系列:(二)ROS入门——10.在实际机器人上运行ROS高级功能预览...
SLAM导航机器人零基础实战系列:(二)ROS入门--10.在实际机器人上运行ROS高级功能预览 摘要 ROS机器人操作系统在机器人应用领域很流行,依托代码开源和模块间协作等特性,给机器人开发者带来了 ...
- ROS有三个层级的概念,分别是:文件系统级、计算图级和开源社区级
ROS有三个层级的概念,分别是:文件系统级.计算图级和开源社区级. 文件系统级:ROS的内部结构.文件结构和所需的核心文件都在这一层里,理解ROS文件系统是入门ROS的基础.一个ROS程序的结构,是一 ...
- ROS实战篇(二)如何创建自定义的msg文件以及自己编写launch文件?
一.如何创建自定义的msg文件? msg文件介绍: 1.msg文件是用来描述ROS中自定义的消息类型的,可以被不同语言调用. 2.msg文件以 .msg 结尾,必须存放在软件包的msg文件夹下. 3. ...
- 【ROS wiki】利用ros wiki寻求问题答案
ROS wiki系列文章简介:ROS wiki系列文章是本人ROS专栏下的子专题.该系列文章主要用来介绍:ROS初学者如何利用好ROS官方提供的ROS wiki平台,来查询ROS资料,了解ROS包的功 ...
- SLAM导航机器人零基础实战系列:(二)ROS入门——2.ROS系统整体架构
SLAM导航机器人零基础实战系列:(二)ROS入门--2.ROS系统整体架构 摘要 ROS机器人操作系统在机器人应用领域很流行,依托代码开源和模块间协作等特性,给机器人开发者带来了很大的方便.我们的机 ...
最新文章
- 压缩文件夹_怎样压缩文件夹并发送
- Android 网络连接--Wifi/3G
- IPFS + 区块链 系列】 入门篇 - IPFS + Ethereum (上篇)-js-ipfs-api
- [2015-10-28]Angularjs-----数据获取,关联
- Python os.makedirs try 以及 raise
- discuz admin.php无法登录,忘记管理员密码无法登录Discuz后台管理员的解决方法汇总...
- BZOJ 1087 [SCOI2005]互不侵犯King ——状压DP
- java try catch 例子_java try catch
- 这项技术竟然一个字也不放过!
- fifo的valid信号啥时候为高_五角枫啥时候适合移栽?五角枫移栽最佳时间
- ubuntu19.04安装pip3以及virtualenv和virtualenvwrapper
- 关于解决运行sql文件时,找不到MySQL默认编码utf8mb4的问题
- 「雅礼集训 2018 Day2」农民
- 深度学习代码实战——基于RNN的时间序列拟合(回归)
- linux文件及文件夹权限
- wiquery ResizePanel
- 成都女学霸高考 692 分想当“程序媛”,网友:快劝劝孩子
- 使用C++实现克拉默法则(Cramer‘s law)
- 大华海康萤石云摄像头Http接口云台控制开发
- java项目 无法重命名_项目重命名:出现的问题