使用moses切词

英文分词

Perl ***.perl (perl xxx.pl)

perl moses_tokenizer.perl -no-escape -l en < train.tags.en-zh.en> train.txt.en

因为tokenizer.perl中没有找到nonbreaking_prefixes.en。路径问题，我把tokenizer.perl位置给移动了

1、可以把train.tags.en-zh.en移动到tokenizer.perl同目录下，切分完成之后把结果和train.tags.en-zh.en再移动到对应文件下。

2、可以把每一个的具体路径写出来

中文分词

看了源代码，语言没有中文，如要给中文分词的话，需要自己配置。

注意： “<” ">"是必须的！

按照TensorFlow实战Google深度学习框架书中写的运行结果不对，然后参考源代码结果也不对，对perl不是很了解。，

查了很多都没有对中文分词运行的例子。。。弄了半天，灵机一动，把源代码改了，加了一句“$text =~ s/\B/ /g;”

再运行，就正确分词了。不过这样改了源代码如果是其他语言就不行，可以用完再改回来，哈哈哈（尬笑.jpg）。哪位大佬看到了，求指教

cmd打开：perl –v 测试一下有没有perl，没有需要安装ActivePerl

附：ActivePerl安装

据经验，Typical应该是默认安装到C盘。所以选择了Custom，自己选择路径

更改路径：

选择install：

完成安装：

TensorFlow机器翻译之moses切词（附：ActivePerl安装）相关推荐

使用豆瓣源下载指定版本的tensorflow（附conda安装tensorflow全步骤）
进入anaconda prompt 查看conda版本(检验是否安装成功) conda --version 查看已有环境 conda info --envs 查看可安装的python版本 conda ...
[图解tensorflow源码] 入门准备工作附常用的矩阵计算工具[转]
[图解tensorflow源码] 入门准备工作附常用的矩阵计算工具[转] Link: https://www.cnblogs.com/yao62995/p/5773142.html tensorfl ...
python3.6爬虫环境安装要多少内存_Python3爬虫环境配置——解析库安装（附tesserocr安装方法）...
Python3爬虫环境配置--解析库安装(附tesserocr安装方法) 抓取网页代码后,第二步就是提取信息,为了方便程序设计,这里不采用繁琐的正则提取,利用社区里强大的Python解析库,如lxml ...
tensorflow（centos 7.0 64）安装
tensorflow安装系统centos 7.0 64位: python版本:(注意tensorflow目前只支持python2.7版本) 安装pip yum update -y && ...
TensorFlow 教程 --新手入门--1.2 下载安装
下载与安装你可以使用我们提供的二进制包, 或者使用源代码, 安装 TensorFlow. 二进制安装 TensorFlow Python API 依赖 Python 2.7 版本. 在 Linux ...
Ubuntu12.04编译Android4.0.1源码全过程-----附wubi安装ubuntu编译android源码硬盘空间不够的问题解决
Ubuntu12.04编译Android4.0.1源码全过程-----附wubi安装ubuntu编译android源码硬盘空间不够的问题解决参考文章: (1)Ubuntu12.04编译Android ...
windows环境下ffmpeg在cmd中实现wav,mp3分割拆分和与拼接（concat）以及在cmd一次运行多个命令，附ffmpeg安装
1. ffmpeg在cmd中的实现分割拆分的代码首先打开cmd: 按win+R,后输入cmd,出现如下窗口在cmd中定位到待拆分的音频文件的路径 cd+filepath:cd C:\Users\l ...
ROCm与tensorflow在ubuntu 18.04下的安装教程
ROCm与tensorflow在ubuntu 18.04下的安装教程本来准备买Nvidai的显卡,可是囊中羞涩再加上听说AMD的卡也能使用tensorflow进行深度学习加速了,所以1149 ...
Anaconda3安装tensorflow 2.0版本cpu和gpu安装，Win10系统
tensorflow是在anaconda上安装的,所以先安装anconda 一.安装anaconda3 我安装的是这一个,anaconda自带python,所以不需要单独安装python 点击安装,一 ...

TensorFlow机器翻译之moses切词（附：ActivePerl安装）

使用moses切词

英文分词

中文分词

附：ActivePerl安装

TensorFlow机器翻译之moses切词（附：ActivePerl安装）相关推荐

最新文章

热门文章