Execise Data files

样例中需要的数据来源：
http://www.openfst.org/twiki/bin/view/FST/FstExamples

如果无法访问，可以在这里下载

Execise 1 Tokenization

第一个示例将ASCII字符序列转换为带有标点符号和去除空格的单词标记序列。为此，我们将需要一个词典换能器，该词典换能器将从字母映射到其对应的单词标记。一种简单的生成方式是使用OpenFst文本格式。例如，“Mars”一词的格式为：

fstcompile --isymbols=ascii.syms --osymbols=wotw.syms >Mars.fst <<EOF
0 1 M Mars
1 2 a <epsilon>
2 3 r <epsilon>
3 4 s <epsilon>
4
EOF

如果出现错误提示file = ascii.syms, line = 1Bad non-negative integer "0，可能的原因是ascii.syms文件和wotw.syms文件的格式是dos格式的。需要执行
set ff=unix

Mars.fst是二进制文件，是不可以直接阅读的。一般可以通过工具转成图像来看。

fstdraw --isymbols=ascii.syms --osymbols=wotw.syms -portrait Mars.fst | dot -Tjpg >Mars.jpg

dot: command not found…
如果出现该命令不存在，需要去下载一下graphviz

转成的fst图片如下，

再来两个例子

“Martian”和“Man”按照上面的方法构建fst文件

Martian.fst

fstcompile --isymbols=ascii.syms --osymbols=wotw.syms >Martian.fst <<EOF
0 1 M Martian
1 2 a <epsilon>
2 3 r <epsilon>
3 4 t <epsilon>
4 5 i <epsilon>
5 6 a <epsilon>
6 7 n <epsilon>
7
EOF

Man.fst

fstcompile --isymbols=ascii.syms --osymbols=wotw.syms >Man.fst <<EOF
0 1 M Man
1 2 a <epsilon>
2 3 n <epsilon>
3
EOF

合并这三个fst，并生成lexicon.fst

fstunion Man.fst Mars.fst | fstunion - Martian.fst | fstclosure >lexicon.fstfstdraw --isymbols=ascii.syms --osymbols=wotw.syms -portrait lexicon.fst | dot -Tps >lexicon.ps

生成的图像如下，

去除epsilon的Arc

fstrmepsilon lexicon.fst | fstdeterminize | fstminimize >lexicon_opt.fstfstdraw --isymbols=ascii.syms --osymbols=wotw.syms -portrait lexicon_opt.fst | dot -Tps >lexicon_opt.ps

生成等效的，确定的和最小的状态转换图

增加对符号的处理，

full_pinct.fst

0 1 <space> <epsilon>
0 1 ! <epsilon>
0 1 " <epsilon>
0 1 # <epsilon>
0 1 $ <epsilon>
0 1 % <epsilon>
0 1 & <epsilon>
0 1 ' <epsilon>
0 1 ( <epsilon>
0 1 ) <epsilon>
0 1 * <epsilon>
0 1 + <epsilon>
0 1 , <epsilon>
0 1 - <epsilon>
0 1 . <epsilon>
0 1 / <epsilon>
0 1 0 <epsilon>
0 1 1 <epsilon>
0 1 2 <epsilon>
0 1 3 <epsilon>
0 1 4 <epsilon>
0 1 5 <epsilon>
0 1 6 <epsilon>
0 1 7 <epsilon>
0 1 8 <epsilon>
0 1 9 <epsilon>
0 1 : <epsilon>
0 1 ; <epsilon>
0 1 < <epsilon>
0 1 = <epsilon>
0 1 > <epsilon>
0 1 ? <epsilon>
0 1 @ <epsilon>
0 1 [ <epsilon>
0 1 \ <epsilon>
0 1 ] <epsilon>
0 1 ^ <epsilon>
0 1 _ <epsilon>
0 1 ` <epsilon>
0 1 { <epsilon>
0 1 | <epsilon>
0 1 } <epsilon>
0 1 ~ <epsilon>
1

加入符号处理
fstunion Man.fst Mars.fst | fstunion - Martian.fst | fstconcat - full_punct.fst | fstclosure >lexicon.fst

Tokenization

好，现在开始Tokenization，词语切分。
假设我们有“Mars man!”这个词,

来先写出它的fst

fstcompile --isymbols=ascii.syms --osymbols=ascii.syms > Mars_man_.fst <<EOF
0 1 M M
1 2 a a
2 3 r r
3 4 s s
4 5 <space> <space>
5 6 m m
6 7 a a
7 8 n n
8 9 ! !
9
EOF

画出图形
fstdraw --isymbols=ascii.syms --osymbols=ascii.syms -portrait Mars_man_.fst | dot -Tps > Mars_man_.ps

提取词
fstcompose Mars_man_.fst lexicon_opt.fst | fstproject --project_output | fstrmepsilon >tokens.fst

【openfst样例1】Tokenization相关推荐

【openfst样例2】Downcasing Text
Execise Data files 样例中需要的数据来源: http://www.openfst.org/twiki/bin/view/FST/FstExamples 如果无法访问,可以在这里下载 ...
YOLOv4 资源环境配置和测试样例效果
YOLOv4 资源环境配置和测试样例效果基本环境:cuda=10.0,cudnn>=7.0, opencv>=2.4 一.下载yolov4 git clone https://githu ...
2021年大数据常用语言Scala（三十二）：scala高级用法样例类
目录样例类定义样例类样例类方法样例对象样例类样例类是一种特殊类,它可以用来快速定义一个用于保存数据的类(类似于Java POJO类),而且它会自动生成apply方法,允许我们快速地创建样例 ...
在Ubuntu下构建Bullet以及执行Bullet的样例程序
在Ubuntu下构建Bullet以及执行Bullet的样例程序 1.找到Bullet的下载页,地址是:https://code.google.com/p/bullet/downloads/list 2 ...
JDBC连接MySQL数据库及演示样例
JDBC是Sun公司制定的一个能够用Java语言连接数据库的技术. 一.JDBC基础知识 JDBC(Java Data Base Connectivity,java数据库连接)是一种用 ...
Oracle简单脚本演示样例
Oracle简单脚本演示样例 1.添加表 --改动日期:2014.09.21 --改动人:易小群 --改动内容:新增採购支付情况表 DECLARE VC_STR VARCHAR2( ...
【ZooKeeper Notes 3】ZooKeeper Java API 使用样例
查看PDF版本转载请注明:@ni掌柜 nileader@gmail.com ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务框架,包含一组简单的原语集合.通过这些原语言的组合使用, ...
ACMNO.24 C语言-转置矩阵写一个函数，使给定的一个二维数组（３×３）转置，即行列互换。输入一个3x3的矩阵输出转置后的矩阵样例
题目描述写一个函数,使给定的一个二维数组(3×3)转置,即行列互换. 输入一个3x3的矩阵输出转置后的矩阵样例输入 1 2 3 4 5 6 7 8 9 样例输出 1 4 7 2 5 8 3 ...
ACMNO.21 C语言-逆序输出输入10个数字，然后逆序输出。输入十个整数输出逆序输出，空格分开样例输入 1 2 3 4 5 6 7 8 9 0
题目描述输入10个数字,然后逆序输出. 输入十个整数输出逆序输出,空格分开样例输入 1 2 3 4 5 6 7 8 9 0 样例输出 0 9 8 7 6 5 4 3 2 1 提示数组?堆栈 ...

【openfst样例1】Tokenization