SO-VITS-SVC 尝试

参考教程。
记录一些要点：

数据集预处理

UVR5-分离伴奏：Method-Demucs、Stem-Vocals、Model-v3|UVR-Model-1、GPU Conversion √、Vocals Only √
UVR5-消除混响和声：Input-vocal、Method-VR、Size-320、Aggression-10、Model-5_HP_Karaoke_UVR、GPU Conversion √、Vocals Only √
Renamer-文件批量改名：建议只包含字母、数字、下划线
AudioSlicer-音频切分：第2步处理好的纯人声拖入Task List里，Minimum Length改成8000，目标文件夹名称建议为需要训练的音声人物名
上一步的文件夹放入整合so-vits-svc-4.0/dataset_raw/，运行数据预处理，dataset文件夹里为预处理好的数据集，filelists文件夹里为自动划分的训练集、验证集、测试集标注

训练

改配置文件：so-vits-svc-4.0/configs/config.json，12G显存RTX3080Ti设置(learning_rate: 0.0002, batch_size: 12)，两者正比；24G显存RTX3090设置(learning_rate: 0.0004, batch_size: 24)
评估结果一组随机抽5个数，越小越好；每训练200个Step，保存一次G/D.pth模型文件
训练.bat

推理

推理webui.bat
目标人音声也须分离伴奏、消除混响和声、切片，但切片用AU切即可（保存成wav格式）
转换完后用AU拼接，用PR合成音频伴奏

聚类模型/自动f0预测
适合我推的歌，且她没唱过
- 富士山下 - 陈奕迅
  - 用AU变调音频后再合成视频
  - 制作输出格式改成1080P HD
  - 再对齐下音轨，后期有点抢拍
- 处处吻 - 杨千嬅：单声道音轨不对齐，对拍对应伴奏的强拍
- 可惜我是水瓶座 - 杨千嬅：转双声道
- 小幸运 - 田馥甄：转双声道，几处歌词第一个字尖锐爆音，重新转换也不行，标记这些选段使用AU的自动修复选区处理
- 好きだから。 - ユイカ：转双声道，悄悄话声单独转换
总结：混音多，消的不干净的歌，转换声线适合只放单声道的；反之，可以放双声道的立体感强。

SO-VITS-SVC 尝试相关推荐

【机器学习超详细】机器学习案例之SVM人脸识别技术应用 PCA降维结果可视化支持向量机
基础知识介绍: LFW人脸识别数据集(http://vis-www.cs.umass.edu/lfw/) 该实验可以在JupyterNotebook上运行,也可在其他Python程序上运行.(本人习惯 ...
K8S-网络模型、POD/RC/SVC YAML 语法官方文档
2019独角兽企业重金招聘Python工程师标准>>> K8S-网络模型.POD/RC/SVC YAML 语法官方文档博客分类: Kubernetes K8S-网络模型.POD/R ...
cortex-M3 的SVC、PendSV异常，与操作系统(ucos实时系统)
SVC异常是? PendSV异常是? ucos 任务切换时机? ucos 如何满足实时性(实现)? ucos中,systick的优先级? SVC和PendSV SVC(系统服务调用,亦简称系统 ...
H264/SVC Temporal Scalability
H264/SVC Temporal Scalability 在多人远程会议或直播系统中,参与的用户可能处于不同的网络环境(有线.wifi.3G.4G)中,网络质量各不一致,为了所有用户可进行远程会议或 ...
【嵌入式开发】ARM 处理器工作模式及修改方法 ( 处理器模式 | 设置处理器模式 | 程序状态字寄存器 CPSR SPSR | 模式设置代码编写 | 设置 svc 模式 )
一. 处理器工作模式相关介绍 1. 处理器模式简介 (1) 处理器工作模式分类 (2) 处理器不同工作模式区别 (3) Linux 系统运行的模式 (4) 特权模式说明 (5) 异常模式 (6) 系 ...
Python信贷风控模型：Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付
全文链接:http://tecdat.cn/?p=26184 在此数据集中,我们必须预测信贷的违约支付,并找出哪些变量是违约支付的最强预测因子?以及不同人口统计学变量的类别,拖欠还款的概率如何变化?( ...
北京短租2021年Airbnb数据分析(探索性数据分析+简单建模尝试)
复现了一下阿里天池上Tianchi Data Hero Cup -- 短租数据集分析论坛大佬的代码,做了探索性数据分析+简单建模尝试.原本的数据集没找见, 从Airbnb 网站下载了21年的北京短租 ...
机器学习笔记：支持向量机（SVM）详细推导以及sklearn.svm.SVC的简单简介
线性可分支持向量机: 举一个简单的例子: 我们需要将下面的圆圈和叉分开这里存在无数多条线可以将圆圈和叉分开,因此,我们要规定一个性能指标,对于每一条线,都有对应的一个性能指标. 我们将每一条可以分开 ...
SVC，HVC，SMC指令
SVC(Supervisor Call) 当用户空间通过系统调用陷入到内核空间的时候,则最终会通过SVC指令进入到内核空间 HVC(Hypervisor Call) 当在ARMv8-A架构下,norm ...
【Qbot】6.讯飞文字转语音Api使用/VITS派蒙复读机实现
该项目计划长期进行维护更新,欢迎star:https://github.com/zstar1003/Qbot 前言看完流浪地球2之后,萌生了一个想法:我想给机器人完整的一生.作为一个完整的机器人,声 ...

SO-VITS-SVC 尝试

SO-VITS-SVC 尝试相关推荐

最新文章

热门文章