k2-fsa differentiable Finite State Acceptor

Dan在Interspeech上的toturial演讲

上述实验的复现

ctc的拓扑和神经网络的输出共同组成lattice，弧上的标签为输入标签和输出标签，每一列代表T，因此共有15个。beam=2为什么组成这样的图没太看懂。

ragged tensor用一个线性的数组来表示不规则的数据结构，可以在cuda中进行并行的计算。

解析：如果一个数据在二维vec中的索引是array[idx0][idx1],设idx01是它在raggedarray中的索引。

设idx0x是array[idx01][0]，则idx01 = idx0x + idx1。

在k2官方文档中对以ragged array格式储存的fsa介绍如下

每个子序列中包含同一个源状态的所有弧。
终状态是[]

对于每个FSA的操作，k2的autograd记录了每个输出对应的输入的哪一条弧，也就是arc_map
- 在某些算法中，每个输出对应着0个或1个输入弧 -->此时的arc_map是一个torch的tensor（或者对于一些二元函数来说（例如intersection）是一对arc_map）
- 在某些算法中（例如确定化），每个输出弧对应着一系列的输入弧 --> 此时的arc map是一个ragged tensor。（为了适应这种运算，对确定化算法有一些适应性改变）
有了这些arc maps，还有合适的索引操作，就可以简单的利用prtorch的autograd机制了。
在反向传播中，我们把梯度传回到原来的输入弧上，所以这里面蕴含的思想是，输出弧的分数等于所有的输入弧的和（和的计算方法有直接加和和对数加和两种），在大多数算法中都是这样。
- 在k2官方教程中的示例

附：Tropical Semiring以最下为加法运算，以加法为乘法运算。

附：log semiring

我的理解：k2中的fsa设计并没有具体的物理含义，我们可以更多的把它理解成一种计算的框架。因此其中的一些操作细节，并非原创的算法设计，而是继承于原有的一些机器学习中的算法，衍生发展出来的。（例如，上面说到的fsa中的反向传播，其物理意义和算法都是跟torch中一脉相承的）

“attributes”:如上所说，可以把k2-fsa当作一种框架，任意的属性都用在fsa之上，比如说lm的分数等。在途中的示例中，将lm_score作为一种属性赋给了a_vec这个fsa之上
他们是以弧的索引为索引的

可爱的dan

k2-fsa differentiable Finite State Acceptor（Dan 的 toturial总结）相关推荐

FST(Finite State Transducers, 有限状态转换器)简介及示例
一.简介 Finite State Transducers 简称 FST, 中文名:有穷状态转换器.FST目前在语音识别和自然语言搜索.处理等方向被广泛应用. 例如,在自然语言处理中,经常会遇到一些针 ...
lucene随笔-FST(Finite State Transducer)有限状态传感器
lucene版本:6.5.1 有限状态传感器,FST(Finite State Transducer)在lucene中扮演着非常重要的一个角色,在4.0后的版本lucene大量使用了这种数据结构,主要 ...
计算机态,(计算机)有限态自动机,FSM(finite state machine),音标,读音,翻译,英文例句,英语词典...
补充资料:ω-有限自动机 ω-有限自动机 ω-finite state automata 1094·.一youx一anz}dongJ-..有限自动机(.一rinite state automata)一 ...
有限状态机FSM(finite state machine) 二
有限状态机FSM(finite state machine) 二延续上一篇继续有限状态机上一篇中的状态切换判断是在每一个状态类的 OnExecute 方法中各种 if else 硬编码逻辑当状态 ...
FSM（Finite State Machine，有限状态机）设计
有限状态机(Finite State Machine, FSM),根据状态机的输出是否与输入有关,可分为Moore型状态机和Mealy型状态机.Moore型状态机输出仅仅与现态有关和Mealy型状态机 ...
Verilog学习笔记HDLBits——Finite State Machines(1)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.Finite State Machines 1.Simple FSM 1(asychronous reset) 2 ...
HDLBits 系列（8）——Sequential Logic（Finite State Machines（一））
目录 3.2 Sequential Logic 3.2.5 Finite State Machines 1. Simple FSM 1 (asynchronous reset) 2. Simple F ...
《计算机组成与CPU设计实验》5有限状态机的Verilog HDL描述（Finite State Machine，FSM）
多数控制逻辑都可以用有限状态机描述状态机状态机是组合逻辑和时序逻辑的特殊组合时序逻辑用于存储状态组合逻辑用于产生次态和产生输出状态的数量是有限的,故称为有限状态机(Finite State ...
【HDLBits 刷题 9】Circuits（5）Finite State Manchines 1-9
目录写在前面 Finite State Manchines Fsm1 Fsm1s Fsm2 Fsm2s Fsm3comb Fsm3onehot Fsm3 Fsm3s Design a Moore F ...
【HDLBits 刷题 10】Circuits（6）Finite State Manchines 10-17
目录写在前面 Finite State Manchines Lemmings1 Lemmings2 Lemmings3 Lemmings4 Fsm onehot Fsm ps2 Fsm ps2dat ...

k2-fsa differentiable Finite State Acceptor（Dan 的 toturial总结）

k2-fsa differentiable Finite State Acceptor

k2-fsa differentiable Finite State Acceptor（Dan 的 toturial总结）相关推荐

最新文章

热门文章