实时vad（替换webrtcvad）

之前分享了一款实时vad是webrtcvad，但在实际使用中发现如下问题：

每次判断chunk是否是vad，chunk的长度有限制，webrtcvad只支持10ms、20ms以及30ms的判断，但我希望能一次判断100ms的chunk，无法满足。
无噪声情况下webrtcvad的效果还是不错的，并且速度也很快，但实际情况中，噪声还是很常见的，而webrtcvad对这种噪声是无法过滤的，此处的噪声指的是场景白噪声（通俗来说就是麦克风在收音时录制的环境噪声，类似滋滋滋这种），而此类噪声也是很常见的~

为了解决这个问题，基本的想法是使用神经网络训练一个vad模型，但考虑到数据和周期性，无法满足，偶然发现GitHub现存一款性能很好的vad，完全可以替代webrtcvad，此处贴上官方的地址，模型转化为了onnx，我对此vad的使用做了一个简化，代码如下：

rom utils_vad import OnnxWrapper, init_jit_model, get_speech_timestamps, save_audio, read_audio

实时vad（替换webrtcvad）相关推荐

使用 OpenCV+CVzone 进行实时背景替换
介绍 OpenCV是一个开源计算机视觉库,可提供播放不同图像和视频流的权限,还有助于端到端项目,如对象检测.人脸检测.对象跟踪等. CVzone是一个计算机视觉包,可以让我们轻松运行像人脸检测.手部跟 ...
ps 替换文字_这可能是PS最难用的功能！解决PS字体列表硬伤的利器FonTags
[PConline 应用]PS的字体列表又卡又冗,尤其对于设计师而言,安装的字体少则几十多则上百,每次查找都要花费很长时间,以至于有人说这可能是PS最难用的功能了.其实我们也可以通过一款小软件FonT ...
实时高分辨率视频抠像
一.实验目的视频抠像有许多实际应用.许多正在兴起的用例,例如视频会议和娱乐视频创作,都需要在没有绿幕道具的情况下对人体主体进行实时背景替换.因此我选择该项目作为大作业方向 1.在视频流上提取前景 ...
Enlighten将被功能强大的烘焙和实时GIobal照明解决方案取代
Unity is required to remove Enlighten but will continue support as-is through 2020 LTS. We have a ro ...
浏览器渲染机制面试_浏览器渲染原理
本文目录结构问题浏览器渲染原理渲染过程 1. 浏览器接收到 HTML ⽂件并转换为 DOM 树当我们打开⼀个⽹⻚时,浏览器都会去请求对应的 HTML ⽂件.虽然平时我们写代码时都会分为 JS ...
音视频技术开发周刊 | 175
每周一期,纵览音视频技术领域的干货. 新闻投稿:contribute@livevideostack.com. PTP部署中的经验本次演讲来自AIMS IP Oktoberfest 2020,演讲者分 ...
ribbon 配置动态更新_Netflix开源工具：在SpringBoot实现动态路由
前言假设你有一个服务A,要调用服务B(有三个实例,B1.B2.B3),如何只调用其中的B1和B2,屏蔽掉B3?实际上解决方法大致分为两类. 一种是外部路由,就是通过网关等组件,在请求链路上进行路由选 ...
人工智能学术论坛参会总结【附PPT】
作者:杨鹏@yige.ai.吴金龙@yige.ai 责编:何永灿,关注人工智能,投稿请联系heyc@csdn.net或微信号289416419 10月17日,中科院自动化研究所庆祝建所60周年举办了人 ...
前端面试超全整理1（ js 浏览器安全性能）
1.JS 基础面试题(一) 原始(Primitive)类型涉及面试题:原始类型有哪几种?null 是对象嘛? 在 JS 中,存在着 6 种原始值,分别是: boolean null undefine ...
使用pandas清洗携程旅游数据
1.导入模块 from pandas import DataFrame,Series import pandas as pd import numpy as np from fuzzywuzzy im ...

实时vad（替换webrtcvad）

实时vad（替换webrtcvad）相关推荐

最新文章

热门文章