简介

在做英文文本数据分析时，第一步便是词形还原。例如，一段文本中了出现‘options’和‘option’，其实这两个单词表示一个意思，那么在预处理时‘options’和‘option’都处理成‘option’。
例如，下面给定的文本:

jhend925  https://blog.csdn.net/timo1160139211/article/details/77603141. All 2015 GTIs have heated seats, including the S trim level
with no options. I used to own a 2013 335i with the news system and now own
a 2011 M3 with the stalk system you talked about. The new system on the 2013 was much better.
Ok, yeah, you have to turn it on every time, but it's much easier to adjust speed

进行分割单词与标点符号，并进行词形还原。

stanford-corenlp

stanford-corenlp是一款非常强大的自然语言处理工具，准确率很高。我们可以利用这款工具，完成上述操作。其需要的jar包包括：

java程序

如下，为一个java操作程序：

package com.lda.datadeal;import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import edu.stanford.nlp.ling.CoreAnnotations;
import edu.stanford.nlp.ling.CoreLabel;
import edu.stanford.nlp.pipeline.Annotation;
import edu.stanford.nlp.pipeline.StanfordCoreNLP;
import edu.stanford.nlp.util.CoreMap;
public class Test {public static void main(String[] args)  {String aString = "jhend925  https://blog.csdn.net/timo1160139211/article/details/77603141. All 2015 GTIs have heated seats, including the S trim level with no options. I used to own a 2013 335i with the news system and now own a 2011 M3 with the stalk system you talked about. The new system on the 2013 was much better. Ok, yeah, you have to turn it on every time, but it's much easier to adjust speed";List<String> word = getlema(aString);for (int i = 0; i < word.size(); i++) {System.out.println(word.get(i));}}/*** 词形还原* @param string:字符串* @return List<String> 分词、提取词形还原后的结果* */public static List<String> getlema(String text){//单词集合List<String> wordslist = new ArrayList<>();;//StanfordCoreNLP词形还原Properties props = new Properties();  // set up pipeline propertiesprops.put("annotators", "tokenize, ssplit, pos, lemma");   //分词、分句、词性标注和次元信息。StanfordCoreNLP pipeline = new StanfordCoreNLP(props);Annotation document = new Annotation(text);pipeline.annotate(document);List<CoreMap> words = document.get(CoreAnnotations.SentencesAnnotation.class);for(CoreMap word_temp: words) {for (CoreLabel token: word_temp.get(CoreAnnotations.TokensAnnotation.class)) {String lema = token.get(CoreAnnotations.LemmaAnnotation.class);  // 获取对应上面word的词元信息，即我所需要的词形还原后的单词wordslist.add(lema);}}return wordslist;}
}

这里写了一个方法getlema，方法的输入是一串文本，输出是分词、词形还原后的结果。为了方便读者直接的理解，以下将控制台输出的结果显示出来：
在实际处理中，可根据getlema方法返回的结果进行再次处理，如去除标点符号、去除停用词、去除URL类型的字符。

jhend925
https://blog.csdn.net/timo1160139211/article/details/77603141
.
all
2015
gti
have
heat
seat
,
include
the
s
trim
level
with
no
option
.
I
use
to
own
a
2013
335us
with
the
news
system
and
now
own
a
2011
m3
with
the
stalk
system
you
talk
about
.
the
new
system
on
the
2013
be
much
better
.
Ok
,
yeah
,
you
have
to
turn
it
on
every
time
,
but
it
be
much
easier
to
adjust
speed

Java基于stanford-corenlp实现英文词形还原相关推荐

NLP工具——Stanford CoreNLP的python封装包处理中文
文章目录 1.StanfordCoreNLP是什么? 2.StanfordNLP是什么? 3.StanfordNLP的使用 3.1 安装 3.2 运行 3.3 如何处理中文? 3.4 demo 4.第 ...
NLP：自然语言处理技术之词语级别相关术语解释(如上位词/WordNet)、基于词汇层面的词法分析六大任务(分词/词性标注/词干提取-词形还原/新词发现/形态分析/拼写校正)的简介及其应用
NLP:自然语言处理技术之词语级别相关术语解释(如上位词/WordNet).基于词汇层面的词法分析(Lexical Analysis)六大任务(分词/词性标注/词干提取-词形还原/新词发现/形态分析/ ...
Stanford CoreNLP Stanza使用手册
1. 手动下载工具包:(参考https://github.com/stanfordnlp/stanza/issues/275) 默认英语工具包:https://nlp.stanford.edu/sof ...
Ubuntu下安装Stanford CoreNLP
Stanford CoreNLP提供了一系列自然语言分析工具.它能够给出基本的词形,词性,不管是公司名还是人名等,格式化的日期,时间,量词,并且能够标记句子的结构,语法形式和字词依赖,指明那些名字指向 ...
Stanford Corenlp中文分词自定义词典（扩展词典）
Stanford Corenlp是斯坦福大学的自然语言处理工具,其中中文分词是基于条件随机场CRF (Conditional Random Field) ,不是基于字典的直接匹配.最近调用Stanfo ...
自然语言处理——词性标注、词干提取、词形还原
目录词性标注方法工具实例词干提取和词形还原算法步骤词性标注一般而言,文本里的动词可能比较重要,而助词可能不太重要: 我今天真好看我今天真好看啊甚至有时候同一个词有着不同的意思: ...
stanford corenlp的TokensRegex
最近做一些音乐类.读物类的自然语言理解,就调研使用了下Stanford corenlp,记录下来. 功能 Stanford Corenlp是一套自然语言分析工具集包括: POS(part of spe ...
Stanford CoreNLP遇到的问题
Exception in thread "main" java.lang.RuntimeException: edu.stanford.nlp.io.RuntimeIOExcept ...
java基于quasar实现协程池【后篇】
java基于quasar实现协程池[前篇]:java基于quasar实现协程池_爪哇盘古的博客-CSDN博客在上一个文章中讲述了通过仿照java自写线程池的方式改写成quasar协程池,功能可以说实 ...

Java基于stanford-corenlp实现英文词形还原

文章目录

简介

stanford-corenlp

java程序

Java基于stanford-corenlp实现英文词形还原相关推荐

最新文章

热门文章