OpenNLP 命令行

1 安装

下载
下载地址：https://opennlp.apache.org/download.html；若下载历史版本，在 https://archive.apache.org/dist/opennlp/ 下载。
下载完成后，解压到指定路径，例如我的路径为：E:\Software\NLP\apache-opennlp1.9.1
环境变量配置
新建变量，变量名和变量值分别为：

OPENNLP_HOMEE:\Software\NLP\apache-opennlp1.9.1

在CLASSPATH变量后追加：

%OPENNLP_HOME%\lib;

在Path后追加：

%OPENNLP_HOME%\bin;

使用
linux使用bin目录下的opennlp，windows使用opennlp.bat。
栗子：如果当前命令行所在目录下有文档setence.txt，则该文档中的句子分词：

linux

./opennlp SimpleTokenizer < sentences.txt

windows

opennlp.bat SimpleTokenizer <sentences.txt

1.2 工具列表

LanguageDetector                 #语言检测
LanguageDetectorTrainer             #语言检测模型训练
LanguageDetectorConverter           #将莱比锡(leipzig)数据格式转换为本机OpenNLP格式
LanguageDetectorCrossValidator      #K-fold交叉验证器
LanguageDetectorEvaluator           #检测模型的效率DictionaryBuilder                   #穿件词典SentenceDetector                   #分句
SentenceDetectorTrainer
SentenceDetectorEvaluator
SentenceDetectorCrossValidator
SentenceDetectorConverterSimpleTokenizer                        #字符类分词
TokenizerME                         #分词
TokenizerTrainer                    #训练分词模型
TokenizerMEEvaluator
TokenizerCrossValidator
TokenizerConverter                  #将外国语言格式转换为本机OpenNLP格式
DictionaryDetokenizerTokenNameFinder                        #实体识别
TokenNameFinderTrainer
TokenNameFinderEvaluator
TokenNameFinderCrossValidator
TokenNameFinderConverter
CensusDictionaryCreator             #将1990年美国人口普查名称转换为字典Doccat                              #文档分类
DoccatTrainer
DoccatCrossValidator
DoccatConverter
POSTagger                           #词性标记
POSTaggerTrainer
POSTaggerEvaluator
POSTaggerCrossValidator
POSTaggerConverterLemmatizerME                      #指代消除
LemmatizerTrainerME
LemmatizerEvaluatorChunkerME                            #分块
ChunkerTrainerME
ChunkerEvaluator
ChunkerCrossValidator
ChunkerConverter                    #Parser                             #语法分析
ParserTrainer
ParserEvaluator
ParserConverter
BuildModelUpdater                   #训练、更新语法分析模型
CheckModelUpdater                   #训练、更新语法分析的检查模型
TaggerModelReplacer                 #替换语法分析模型EntityLinker                       #将实体链接到外部数据集NGramLanguageModel

1.3 使用详细说明

1.3.1 句子检测器

SentenceDetector

Usage: opennlp SentenceDetector model < sentencesArguments description:-model     模型-setences 要解析的文件

栗子：

opennlp.bat SentenceDetector ch_sentence_detector.bin < sentences.txt > output.txt

SentenceDetectorTrainer

Usage: opennlp SentenceDetectorTrainer [.irishsentencebank|.ad|.pos|.conllx|.namefinder|.parse|.moses|.conllu|.letsmt] [-factory factoryName][-eosChars string][-abbDict path] [-params paramsFile] -lang language -model modelFile -data sampleData [-encoding charsetName] Arguments description:-factory factoryNameA sub-class of SentenceDetectorFactory where to get implementation and resources.-eosChars stringEOS characters.-abbDict pathabbreviation dictionary in XML format.-params paramsFiletraining parameters file.-lang languagelanguage which is being processed.-model modelFileoutput model file.-data sampleDatadata to be used, usually a file name.-encoding charsetNameencoding for reading and writing text, if absent the system default is used.

栗子：

opennlp.bat SentenceDetectorTrainer -model ch_sentence_detector.bin -lang jpn -data ch_sentence_detector.train -encoding UTF-8

注：中文训练时，如果使用默认符号分句，则lang必须为jpn。

SentenceDetectorEvaluator

Usage: opennlp SentenceDetectorEvaluator[.nkjp|.irishsentencebank|.ad|.pos|.conllx|.namefinder|.parse|.moses|.conllu|.letsmt] -model model [-misclassified true|false]-data sampleData [-encoding charsetName]Arguments description:-model modelthe model file to be evaluated.-misclassified true|falseif true will print false negatives and false positives.-data sampleDatadata to be used, usually a file name.-encoding charsetNameencoding for reading and writing text, if absent the system default is used.

栗子：

opennlp.bat SentenceDetectorEvaluator -model ch_sentence_detector.bin -misclassified true -data sentences.txt -encoding UTF-8

OpenNLP 命令行相关推荐

ECS（Linux）连接RDS，使用命令行方式连接实例
使用命令行方式连接实例通过命令行连接RDS MySQL数据库,连接方式如下: mysql -h<连接地址> -P<端口> -u<用户名> -p -D<数据库 ...
从命令行到IDE，版本管理工具Git详解（远程仓库创建+命令行讲解+IDEA集成使用）
首先,Git已经并不只是GitHub,而是所有基于Git的平台,只要在你的电脑上面下载了Git,你就可以通过Git去管理"基于Git的平台"上的代码,常用的平台有GitHub.Gi ...
基于Golang的CLI 命令行程序开发
基于Golang的CLI 命令行程序开发 [阅读时间:约15分钟] 一. CLI 命令行程序概述二. 系统环境&项目介绍&开发准备 1.系统环境 2.项目介绍 3.开发准备三.具体 ...
简单解决用VS编写hello world时命令行一闪而过
一.在return 0;前一行加一个getchar(); 二.使用项目模板为 windows 桌面向导 c++ 3.命令行控制台一闪而过.这是我们使用空文件夹加载的项目,默认不是控制台应用程序,新建控 ...
java命令行读入密码_java-在命令行上隐藏输入
是的,可以做. 这称为命令行输入屏蔽. 您可以轻松实现此目的. 您可以使用单独的线程擦除输入的回显字符,并用星号替换. 使用下面显示的EraserThread类完成此操作 import java.io ...
Redis 笔记（16）— info 指令和命令行工具（查看内存、状态、客户端连接数、监控服务器、扫描大key、采样服务器、执行批量命令等）
Info 命令返回关于 Redis 服务器的各种信息和统计数值.通过给定可选的参数 section ,可以让命令只返回某一部分的信息. 1. 显示模块 server : 一般 Redis 服务器信息, ...
Linux shell 学习笔记（10）— 处理用户输入（命令行读取参数、读取用户输入、超时处理）
1. 命令行参数向 shell 脚本传递数据的最基本方法是使用命令行参数.命令行参数允许在运行脚本时向命令行添加数据. $ ./addem 10 30 本例向脚本 addem 传递了两个命令行参数( ...
命令行带参数启动--命令行相关问题代码规范
20210106 其实cmd和Linux一样可以通过特殊符号换行的: Linux 为 \ 而cmd 为 ^ 命令行换行符 20201127 options 代码编写变量意义 20200728 a.py ...
2021年大数据Hadoop（八）：HDFS的Shell命令行使用
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的Shell命 ...
DOS命令行操作MySQL常用命令
平时用可视化界面用惯了,如果紧急排查问题,没有安装可视化工具的话,只能通过命令来看了. 以备不时之需,我们要熟悉一下命令行操作MySQL. 打开DOS命令窗口:WIN + R 输入cmd,回车然后输 ...

OpenNLP 命令行

OpenNLP 命令行

1 安装

1.2 工具列表

1.3 使用详细说明

1.3.1 句子检测器

OpenNLP 命令行相关推荐

最新文章

热门文章