前言

唇语识别是深度学习领域极具挑战性的课题，主要表现在两方面：一是技术的复杂性，例如，前期对唇部的识别和特征提取涉及到目标检测算法，后期对语义的分析又用到时序性神经网络甚至NLP技术；二是唇语识别的实用较为困难，由于其数据受光照、距离、角度、唇形等多种条件影响，给特征提取带来了很多挑战。
随着人工智能的发展，唇语识别的算法模型也从原来的机器学习算法HMM（隐马尔科夫模型）发展到RNN，再到后来的LSTM、GRU、Bi-LSTM、Bi-GRU等RNN的多个变种，而最新的成果（SOTA）则采用了表现优异的新的时序处理算法：Temporal Convolutional Network（TCN）。可见，唇语识别的发展对时序性算法十分依赖。
本文着眼于2020年两篇采用TCN算法的最新唇语识别论文，以此为目标对TCN的内容及其应用进行了详细分析

一、TCN的发展与应用

TCN最早由Colin Lea在2016年提出，文章题为：《Temporal Convolutional Networks for Action Segmentation and Detecton》Colin等人表明TCN的设计期初用于视频中人物行为的识别和分割。2018年，Shaojie Bai等在此基础上更进一步，在《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》中对TCN进行了进一步的完善和创新，至此TCN技术已完全成熟。
随后，2020年TCN算法即被运用在唇语识别中《LIPREADING USING TEMPORAL CONVOLUTIONAL NETWORKS》，Brais Martinez在文中表明用MS-TCN取代了Bi-GRU,实现了SOTA的效果。不久Pingchuan Ma等在2020年年底再次刷新唇语识别成绩（《Lip-reading with Densely Connected Temporal Convolutional Networks》），其在文中提出一种DC-TCN，是当前词级别（以词为单位）唇语识别领域的最好成绩。

二、TCN详解

三、MS-TCN用于唇语识别

四、DC-TCN用于唇语识别

总结

时间卷积网络（TCN）在唇语识别中的应用相关推荐

Keras之TCN：基于keras框架利用时间卷积网络TCN算法对上海最高气温实现回归预测(把时间序列数据集转化为有监督学习数据集)案例
Keras之TCN:基于keras框架利用时间卷积网络TCN算法对上海最高气温实现回归预测(把时间序列数据集转化为有监督学习数据集)案例目录利用时间卷积网络TCN算法对上海最高气温实现回归预测(把 ...
从一维卷积、因果卷积(Causal CNN)、扩展卷积(Dilation CNN) 到时间卷积网络 (TCN)
来源: AINLPer微信公众号(每日干货分享!!) 编辑: ShuYini 校稿: ShuYini 时间: 2022-09-30 引言卷积神经网络 (CNN) 尽管通常与图像分类任务相关,但经过改 ...
【CV】膨胀卷积详解以及时间卷积网络TCN论文笔记和源码实现
这篇博文分为两部分.第一部分详细讲解了TCN模型(Temporal Convolutional Network)中涉及的1D卷积,因果卷积,膨胀卷积中设计的计算,非常值得一看,有醍醐灌顶的作用.第二部 ...
时间卷积网络TCN：时间序列处理的新模型
这篇文章回顾了基于TCN的解决方案的最新创新.我们首先介绍了一个运动检测的案例研究,并简要回顾了TCN架构及其相对于传统方法的优势,如卷积神经网络(CNN)和递归神经网络(RNN).然后,我们介绍了一 ...
机器学习进阶之时域/时间卷积网络 TCN 概念+由来+原理+代码实现
TCN 从"阿巴阿巴"到"巴拉巴拉" TCN的概念(干嘛来的!能解决什么问题) TCN的父母(由来) TCN的原理介绍上代码! 1.TCN(时域卷积网络.时间 ...
TCN（Temporal Convolutional Network，时间卷积网络）
1 前言实验表明,RNN 在几乎所有的序列问题上都有良好表现,包括语音/文本识别.机器翻译.手写体识别.序列数据分析(预测)等. 在实际应用中,RNN 在内部设计上存在一个严重的问题:由于网络一次只 ...
序列建模：时间卷积网络取代RNN（An Empirical Evaluation of Generic Convolutional and Recurrent）论文 pdf
下载地址:https://u20150046.ctfile.com/fs/20150046-376633283 作者:Shaojie Bai, J. Zico Kolter, Vladlen Kolt ...
时间卷积网络（TCN）在 NLP 多领域发光，RNN 或将没落
也就是从 2014.15 年起,我们基于深度神经网络的应用就已经在文本和语音识别领域达到 95% 的准确率,可以用来开发新一代的聊天机器人.个人助理和即时翻译系统等. 卷积神经网络(Convoluti ...
TCN时间卷积网络介绍
绪论 TCN, Temporal Convolutional Network,时间卷积网络,是一种能够处理时间序列数据的网络结构,论文还评为 2018年10大论文. 1. 模型输入: x0,x1,. ...

时间卷积网络（TCN）在唇语识别中的应用

目录

前言

一、TCN的发展与应用

二、TCN详解

三、MS-TCN用于唇语识别

四、DC-TCN用于唇语识别

总结

时间卷积网络（TCN）在唇语识别中的应用相关推荐

最新文章

热门文章