论文阅读：《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neu》
https://blog.csdn.net/u011239443/article/details/79973269
论文地址：
http://people.idsia.ch/~santiago/papers/icml2006.pdf
摘要
许多现实世界中的序列学习任务需要从嘈杂、不分段输入数据标签序列的预测。在语音识别，例如，声信号转录成文字。递归神经网络（RNNs）是功能强大的序列的学习模型，似乎非常适合这样的任务。然而，由于它们需要预分割的训练数据和后处理将其输出转换为标签序列，因此它们的适用性迄今受到限制。本文提出了一种训练RNNs直接的不分段的序列标签新方法，从而解决该问题。TIMIT语料库上显示了它的优越性超过基线HMM和混合hmm-rnn。
介绍
标签不分段的序列数据是一个普遍存在的问题，在现实世界中的序列学习。在感知任务（例如手写识别、语音识别、手势识别）中尤其常见，在嘈杂的、实值的输入流中用离散的标签串来标注，例如字母或单词。
目前，图模型，如隐藏马尔可夫模型、条件随机域和它们的变体，是序列标签的主要框架。虽然这些方法已被证明是成功的许多问题，他们有几个缺点：（1）他们通常需要特定任务的知识很多，例如为HMM状态模型的设计，或为CRFs选择输入功能；（2）他们需要明确的（而且往往是不明确的）依赖的假设使得推理容易处理，例如，假设观测模型是独立的；（3）标准的HMM模型，训练是生成的，即使序列标签判别。
另一方面，递归神经网络（RNNs）不需要对数据的任何先验知识，不需要在输入和输出形式的选择。他们可以有区别的训练，其内部状态提供了一个强大的对时间序列建模的一般机制。此外，它们往往对时间和空间噪声有很强的鲁棒性。
到目前为止，然而，它已不可能采用直接序列标签型。问题是，标准的神经网络目标函数分别定义为在训练序列中的每个点；换句话说，它只能被训练做一系列独立的标签分类。这意味着训练数据必须预先分段，并且网络输出必须经过后期处理才能给出最终的标签序列。
目前，RNNs序列标签最有效的利用就是把他们与隐马尔可夫模型结合而成的所谓的混合方法。混合方法使用HMM模型的远程数据序列结构，与神经网提供本地化的分类。HMM组件能够在训练过程中自动分割序列，并将网络分类转换为标签序列。然而，继承了HMM模型的上述缺点，混合方法不能发挥序列建模RNNs的全部潜力。
本文提出了一种RNNs无需预先分割训练数据、无需处理后的输出序列数据、无需在一个单一的网络体系结构模型的标记的新方法。基本思想是把网络输出解释为所有可能的标签序列的概率分布。鉴于这种分布，目标函数可以直接得到最大化的标签正确的概率。由于目标函数是可微的，因此可以通过反向传播来训练网络。
接下来，我们称标签不分段的数据序列的任务为“时间分类”，我们称为此使用的RNNs“联结时间分类模型（CTC）”。我们将输入序列的每一个时间步长或帧的独立标记称为“帧分类”。
下一节提供了时间分类的数学形式，并定义了本文中所使用的错误度量。第3节描述了RNNs时间分类模型。第4节解释了CTC网络是如何训练的。5节比较CTC混合和HMM在TIMIT语料库系统。第6节讨论了CTC与其他时间分类器之间的一些关键区别，为今后的工作指明方向，并在第7节做总结。
时间分类器
这节主要就是在描述时间分类器的功能与评价方法，数据SSS每个样本是(x,z)" role="presentation" style="position: relative;">(x,z)(x,z)(x,z)对。这里以语音识别为例，则xxx是语音特征，z" role="presentation" style="position: relative;">zzz为识别后的文字。
评价方法为：
其中hhh为模型，S′" role="presentation" style="position: relative;">S′S′S'为测试集，ZZZ为测试集的大小，ED" role="presentation" style="position: relative;">EDEDED在计算的是h(x)h(x)h(x)和zz<script type="math/tex" id="MathJax-Element-18">z</script>的编辑距离。
连接时间分类
本节描述允许递归神经网络用于CTC的输出表示。关键步骤是将网络输出转换为标签序列上的条件概率分布。然后，网络可以通过为给定的输入序列选择最可能的标记来分类。
论文阅读：《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neu》相关推荐
- 《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录 突出 抽象 引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
- 基于卷积神经网络和投票机制的三维模型分类与检索 2019 论文笔记
作者:白静 计算机辅助设计与图形学学报 1.解决的问题 由于三维模型投影得到的视图是由不同视点得到,具有相对独立性,这种像素级的融合运算并没有直接的物理或者几何意义,更有可能造成图像有益信息淹没和混淆 ...
- TextCNN——基于卷积神经网络的文本分类学习
1.CNN基础内容 CNN的全称是Convolutional Neural Network,是一种前馈神经网络.由一个或多个卷积层.池化层以及顶部的全连接层组成,在图像处理领域表现出色. 本文主要学习 ...
- 读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
- 一种基于卷积神经网络的图像去雾研究-含matlab代码
目录 一.绪论 二.去雾卷积网络 2.1 特征提取 2.2 多尺度映射 2.3 局部均值 2.4 非线性回归 三.实验与分析 四.Matlab代码获取 一.绪论 雾是一种常见的大气现象,空气中悬浮的水 ...
- 机械臂论文笔记（一）【基于卷积神经网络的二指机械手 抓取姿态生成研究 】
基于卷积神经网络的二指机械手 抓取姿态生成研究 论文下载 摘要 第1章 绪论 1.1 抓取生成国内外研究现状 1.1.1已知物体抓取生成 1.1.2相似物体抓取生成 1.1.3 未知物体抓取生成 1. ...
- 毕业设计 - 基于卷积神经网络的乳腺癌分类 深度学习 医学图像
文章目录 1 前言 2 前言 3 数据集 3.1 良性样本 3.2 病变样本 4 开发环境 5 代码实现 5.1 实现流程 5.2 部分代码实现 5.2.1 导入库 5.2.2 图像加载 5.2.3 ...
- 基于卷积神经网络与迁移学习的油茶病害图像识别
基于卷积神经网络与迁移学习的油茶病害图像识别 1.研究思路 利用深度卷积神经网络强大的特征学习和特征表达能力来自动学习油茶病害特征,并借助迁移学习方法将AlexNet模型在ImageNet图像数据集上 ...
- Python深度学习实例--基于卷积神经网络的小型数据处理（猫狗分类）
Python深度学习实例--基于卷积神经网络的小型数据处理(猫狗分类) 1.卷积神经网络 1.1卷积神经网络简介 1.2卷积运算 1.3 深度学习与小数据问题的相关性 2.下载数据 2.1下载原始数据 ...
- 基于卷积神经网络实现图片风格的迁移 1
卷积神经网络详解 一.实验介绍 1.1 实验内容 Prisma 是最近很火的一款APP,它能够将一张普通的图像转换成各种艺术风格的图像.本课程基于卷积神经网络,使用Caffe框架,探讨图片风格迁移背后 ...
最新文章
- deepin初试与file browser使用小结
- ubuntu/debian安装最新版docker和docker-compose
- 机器学习原理与算法（六） 支持向量机
- python rpc_对python调用RPC接口的实例详解
- rabbitmq丢消息的处理方法
- img src请求后台值值能判断_MVC中根据后台绝对路径读取图片并显示在IMG中
- dotNET中创建自定义的配置节
- Django2 SQLite3迁移到MySQL数据库
- 怎样对齐文体框和图像按钮
- 遥感图像的辐射畸变与辐射校正
- CCNA考试题库中英文翻译版及答案17
- 无胁科技-TVD每日漏洞情报-2022-7-12
- Java实现复数运算
- matlab 输出 syms,matlab中latex和syms的完美结合
- 微信公众号第三方平台开发概况
- 打开GitHub官网缓慢
- 【游戏建模模型制作全流程】ZBrush蜥蜴模型雕刻教程
- php+msyql在线教师备课系统
- Dev C++可以编译但运行时提示failed to execute且error 0：操作成功完成
- 苹果蓝牙连接不上是什么原因_无线网连接不上 原因很多，总有一个办法解决你的问题...