AI实现语音文字处理，PaddleSpeech项目安装使用 | 机器学习
目录
前言
环境安装
1、conda安装Python3.9虚拟环境
2、安装Visual Studio 2019
3、安装requirements.txt
4、安装paddlepaddle和paddlespeech
5、nltk_data下载
项目验证
tts语音合成
asr语音识别
标点恢复
总结
前言
这段时间一直在研究飞浆平台，最近试了试PaddleSpeech项目，试着对文本语音做处理。整体的效果个人觉着不算特别优越，只能作为简单的学习使用。
项目github地址：github仓库
环境安装
首先我们看一下项目结构以及安装文档。
需要Python3.7以上、C++环境、requirements安装等等，下面按照我的顺序说一下。
1、conda安装Python3.9虚拟环境
使用conda安装python3.9环境，命令如下。
conda create -n py39 python=3.9
2、安装Visual Studio 2019
安装地址: Microsoft C++ 生成工具 - Visual Studio
注意安装的时候需要勾选C++桌面开发。
3、安装requirements.txt
使用命令安装requiremets.txt，命令如下：
pip install -r requirements.txt -i https://pypi.douban.com/simple
这里要注意一下，paddlespeech_ctcdecoders安装失败的话无所谓，可以略掉。
4、安装paddlepaddle和paddlespeech
命令如下：
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple pip install paddlespeech -i https://pypi.tuna.tsinghua.edu.cn/simple
5、nltk_data下载
按照项目安装文档内的说明。
我的本地目录地址如下
项目验证
我下面分别验证一下tts、asr以及标点恢复功能。
tts语音合成
使用命令如下：
paddlespeech tts --input "南京现在很冷，下次再去夫子庙吧。" --output C:\Users\xxx\Desktop\115.wav
执行过程
(dh_partner) D:\spyder\PaddleSpeech>paddlespeech tts --input "南京现在很冷，下次再去夫子庙吧。" --output C:\Users\xxx\Desktop\115.wav
phones_dict: None
[2022-01-05 17:23:43,642] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4.zip md5 checking...
[2022-01-05 17:23:44,742] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4
self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt
[2022-01-05 17:23:44,743] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4
[2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\default.yaml
[2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\snapshot_iter_76000.pdz
self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt
[2022-01-05 17:23:44,745] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4.zip md5 checking...
[2022-01-05 17:23:44,782] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4
[2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4
[2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_default.yaml
[2022-01-05 17:23:44,785] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_snapshot_iter_400000.pdz
vocab_size: 268
frontend done!
encoder_type is transformer
decoder_type is transformer
C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\framework\io.py:415: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' i
s deprecated since Python 3.3, and in 3.10 it will stop working
if isinstance(obj, collections.Iterable) and not isinstance(obj, (
acoustic model done!
voc done!
Building prefix dict from the default dictionary ...
[2022-01-05 17:23:51] [DEBUG] [__init__.py:113] Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache
[2022-01-05 17:23:51] [DEBUG] [__init__.py:132] Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache
Loading model cost 0.659 seconds.
[2022-01-05 17:23:52] [DEBUG] [__init__.py:164] Loading model cost 0.659 seconds.
Prefix dict has been built successfully.
[2022-01-05 17:23:52] [DEBUG] [__init__.py:166] Prefix dict has been built successfully.
C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\fluid\dygraph\math_op_patch.py:251: UserWarning: The dtype of left and right variables are not the same, left dtype is padd
le.int64, but right dtype is paddle.int32, the right dtype will convert to paddle.int64
warnings.warn(
[2022-01-05 17:23:58,811] [ INFO] [log.py] [L57] - Wave file has been generated: C:\Users\xxx\Desktop\115.wav
生成的音频如下
asr语音识别
我就使用了tts生成的音频进行asr识别，看看效果，命令如下:
paddlespeech asr --lang zh --input C:\Users\xxx\Desktop\115.wav
执行结果如下
可以看到最后打印的内容是没有标点的文字输出，还是比较准的。
标点恢复
就用这句话试试标点恢复的情况，命令如下：
paddlespeech text --task punc --input 南京现在很冷下次再去夫子庙吧
执行结果
看起来语义上没什么问题。
总结
我在前言中说效果不是很好的主要原因是因为速率比较慢，相比于类似阿里云提供的tts、asr接口来说，效率比较低。也可能和需要校验模型是否存在这些无关紧要的功能有关。可以考虑研究代码，自己重新封装一些服务，效果应该好的多。
还有补充一下，最近博主在参加评选博客之星活动。如果你喜欢我的文章的话，不妨给我点个五星，投投票吧，谢谢大家的支持！！链接地址：https://bbs.csdn.net/topics/603956455
分享：
世界不会在意你的自尊，人们看到的只是你的成就。在你没有成就以前，切勿过分强调自尊。——《了不起的盖茨比》
如果本文对你有用的话，点个赞吧，谢谢！！！
AI实现语音文字处理，PaddleSpeech项目安装使用 | 机器学习相关推荐
- AI识别照片是谁，人脸识别face_recognition开源项目安装使用 | 机器学习
目录 前言 环境安装 代码使用 总结 前言 最近碰到了照片识别的场景,正好使用了face_recognition项目,给大家分享分享.face_recognition项目能做的很多,人脸检测功能也是有 ...
- AI让照片换发型，Barbershop开源项目安装使用 | 机器学习
目录 前言 环境部署 1.导入environment/environment.yaml环境 2.安装pytorch 3.依赖库安装 4. cl.exe环境变量配置 5.模型下载 6.发型数据下载 7. ...
- 如何将照片美化，DPED机器学习开源项目安装使用 | 机器学习
目录 前言 环境部署 项目结构 tensorflow安装 其他依赖安装 VGG-19下载 项目运行 准备图片素材 测试效果 总结 前言 最近发现了一个可以把照片美化的项目,自己玩了玩,挺有意思的,分享 ...
- 如何调整照片人物年龄，此生也算共白头，PaddleGAN开源项目安装使用 | 机器学习
目录 前言 环境部署 项目使用 预处理部分 照片老化处理 照片年轻化处理 总结 前言 最近在试着研究飞浆平台的许多功能,看到了许多有意思的功能.其中可以将照片美化以及年龄调整这个功能让我想到了之前抖音 ...
- 使用百度AI将语音转换成文字(JAVA)
使用百度AI将语音转换成文字--JAVA 1.安装ffmpeg 2.使用百度AI翻译语音 1.引入dependency 2.将音频转换成文字并写入到文件中. **遇到的问题:** 4.因为需要切割长语 ...
- AI中文语音克隆、语音合成——GitHub上babysor/MockingBird 项目源码部分功能实现
AI中文语音克隆.语音合成--GitHub上babysor/MockingBird 项目源码部分功能实现 第一次独立地从认识一项技术,然后到github上搜索相关代码,跟着ReadMe.md教学文档将 ...
- Android之讯飞语音-文字转语音（不用另外安装语音合成包apk）遇到的问题
Android之讯飞语音-文字转语音 <!-- 文章内容 --><div data-note-content="" class="show-conten ...
- 开源python语音识别_5 款不错的开源语音识别/语音文字转换系统
语音文字转换(speech-to-text)(STT)系统就像它名字所蕴含的意思那样,是一种将说出的单词转换为文本文件以供后续用途的方式. 语音文字转换技术非常有用.它可以用到许多应用中,例如自动转录 ...
- 语音识别方案 - 联想语音团队多场景实时语音文字转换方案
[本文转载自联想乐语音论坛] 语音技术一直是人工智能的重要领域之一,其应用也日益广泛.语音技术本身也包括许多细分领域,如远场语音识别.副语言语音属性.说话人日志.声纹识别防欺骗攻击和零资源TTS等. ...
最新文章
- linux dmesg命令参数及用法详解(linux显示开机信息命令)
- 机器学习（MACHINE LEARNING）MATLAB三层神经网络的简单应用
- C# 中 StringBuilder和String的区别
- malloc 不能返回动态内存
- 【机器学习】业界干货 | 图解自监督学习，从入门到专家必读的九篇论文
- Win10如何取消开机密码
- 彻底搞清楚MySQL分库、分表、分区的区别
- 2108年计算机二级考试时间,计算机二级office考前10天复习应该做哪些安排逢考必过...
- Objects.requireNonNull 方法说明
- C# MVC 自定义ActionResult实现EXCEL下载
- virtualenv之python虚拟环境
- T-SQL基础--TOP
- mac虚拟机桌面图标隐藏_教你隐藏 Mac 的桌面文件
- 中国参与互联网下一代根服务器建设
- 【开源】3串锂电池充放电保护板设计参考
- 在 After Effects 中最受欢迎的10大AE插件推荐
- web微信授权登陆-配置篇
- 计算机ppt幻灯片设计主题,如何设置幻灯片主题样式,如何设置幻灯片主题为流畅...
- sigmoid和softmax
- php正则表达式（手册）