斯坦福大学命名实体识别

一、分词介绍
http://nlp.stanford.edu/software/segmenter.shtml
斯坦福大学的分词器，该系统需要JDK 1.8+，从上面链接中下载stanford-segmenter-2014-10-26，解压之后，如下图所示
，进入data目录，其中有两个gz压缩文件，分别是ctb.gz和pku.gz，其中CTB：宾州大学的中国树库训练资料，PKU：中国北京大学提供的训练资料。当然了，你也可以自己训练，一个训练的例子可以在这里面看到http://nlp.stanford.edu/software/trainSegmenter-20080521.tar.gz
二、NER介绍
http://nlp.stanford.edu/software/CRF-NER.shtml
斯坦福NER是采用Java实现，可以识别出（PERSON，ORGANIZATION，LOCATION），使用本软件发表的研究成果需引用下述论文：
Jenny Rose Finkel, Trond Grenager, and Christopher Manning. 2005. Incorporating Non-local Information into Information Extraction Systems by Gibbs Sampling. Proceedings of the 43nd Annual Meeting of the Association for Computational Linguistics (ACL 2005), pp. 363-370.
下载地址在：
http://nlp.stanford.edu/~manning/papers/gibbscrf3.pdf
在NER页面可以下载到两个压缩文件，分别是stanford-ner-2014-10-26和stanford-ner-2012-11-11-chinese
将两个文件解压可看到
，默认NER可以用来处理英文，如果需要处理中文要另外处理。
Included with Stanford NER are a 4 class model trained for CoNLL, a 7 class model trained for MUC, and a 3 class model trained on both data sets for the intersection of those class sets.
3 class: Location, Person, Organization
4 class: Location, Person, Organization, Misc
7 class: Time, Location, Organization, Person, Money, Percent, Date 如上图可以看到针对英文提供了3class、4class、7class，http://nlp.stanford.edu:8080/ner/ 但是中文并没有，这是一个在线演示的地址，可以上去瞧瞧。

三、分词和NER使用
在Eclipse中新建一个Java Project，将data目录拷贝到项目根路径下，再把stanford-ner-2012-11-11-chinese解压的内容全部拷贝到classifiers文件夹下，将stanford-segmenter-3.5.0加入到classpath之中，将classifiers文件夹拷贝到项目根目录，将stanford-ner-3.5.0.jar和stanford-ner.jar加入到classpath中。最后，去http://nlp.stanford.edu/software/corenlp.shtml下载stanford-corenlp-full-2014-10-31，将解压之后的stanford-corenlp-3.5.0也加入到classpath之中。最后的Eclipse中结构如下：

根据
We also provide Chinese models built from the Ontonotes Chinese named entity data. There are two models, one using distributional similarity clusters and one without. These are designed to be run on word-segmented Chinese. So, if you want to use these on normal Chinese text, you will first need to run Stanford Word Segmenter or some other Chinese word segmenter, and then run NER on the output of that!
Chinese NER
这段说明，很清晰，需要将中文分词的结果作为NER的输入，然后才能识别出NER来。
同时便于测试，本Demo使用junit-4.10.jar，下面开始上代码
[java] view plain copy
import edu.stanford.nlp.ie.AbstractSequenceClassifier;
import edu.stanford.nlp.ie.crf.CRFClassifier;
import edu.stanford.nlp.ling.CoreLabel;

/**
*
*

* ClassName ExtractDemo
*

* Description 加载NER模块
*

*
* @author wangxu wangx89@126.com
*

* Date 2015年1月8日下午2:53:45
*

* @version V1.0.0
*
*/
public class ExtractDemo {
private static AbstractSequenceClassifier ner;
public ExtractDemo() {
InitNer();
}
public void InitNer() {
String serializedClassifier = “classifiers/chinese.misc.distsim.crf.ser.gz”; // chinese.misc.distsim.crf.ser.gz
if (ner == null) {
ner = CRFClassifier.getClassifierNoExceptions(serializedClassifier);
}
}

public String doNer(String sent) {
return ner.classifyWithInlineXML(sent);
}

public static void main(String args[]) {
String str = “我去吃饭，告诉李强一声。”;
ExtractDemo extractDemo = new ExtractDemo();
System.out.println(extractDemo.doNer(str));
System.out.println(“Complete!”);
}

}
[java] view plain copy
import java.io.File;
import java.io.IOException;
import java.util.Properties;

import org.apache.commons.io.FileUtils;

import edu.stanford.nlp.ie.crf.CRFClassifier;
import edu.stanford.nlp.ling.CoreLabel;

/**
*
*

* ClassName ZH_SegDemo
*

* Description 使用Stanford CoreNLP进行中文分词
*

*
* @author wangxu wangx89@126.com
*

* Date 2015年1月8日下午1:56:54
*

* @version V1.0.0
*
*/
public class ZH_SegDemo {
public static CRFClassifier segmenter;
static {
// 设置一些初始化参数
Properties props = new Properties();
props.setProperty(“sighanCorporaDict”, “data”);
props.setProperty(“serDictionary”, “data/dict-chris6.ser.gz”);
props.setProperty(“inputEncoding”, “UTF-8”);
props.setProperty(“sighanPostProcessing”, “true”);
segmenter = new CRFClassifier(props);
segmenter.loadClassifierNoExceptions(“data/ctb.gz”, props);
segmenter.flags.setProperties(props);
}

public static String doSegment(String sent) {
String[] strs = (String[]) segmenter.segmentString(sent).toArray();
StringBuffer buf = new StringBuffer();
for (String s : strs) {
buf.append(s + ” “);
}
System.out.println(“segmented res: ” + buf.toString());
return buf.toString();
}

public static void main(String[] args) {
try {
String readFileToString = FileUtils.readFileToString(new File(“澳门141人食物中毒与进食“问题生蚝”有关.txt”));
String doSegment = doSegment(readFileToString);
System.out.println(doSegment);

ExtractDemo extractDemo = new ExtractDemo();
System.out.println(extractDemo.doNer(doSegment));

System.out.println(“Complete!”);
} catch (IOException e) {
e.printStackTrace();
}

}
}
注意一定是JDK 1.8+的环境，最后输出结果如下
loading dictionaries from data/dict-chris6.ser.gz…Done. Unique words in ChineseDictionary is: 423200
done [23.2 sec].
serDictionary=data/dict-chris6.ser.gz
sighanCorporaDict=data
inputEncoding=UTF-8
sighanPostProcessing=true
INFO: TagAffixDetector: useChPos=false | useCTBChar2=true | usePKChar2=false
INFO: TagAffixDetector: building TagAffixDetector from data/dict/character_list and data/dict/in.ctb
Loading character dictionary file from data/dict/character_list
Loading affix dictionary from data/dict/in.ctb
segmented res: 2008年 9月 9日新华网 9月 8日信息：（记者张家伟）澳门特区政府卫生局疾病预防及控制中心 8 日表示，目前累计有 141 人在本地自助餐厅进食后出现食物中毒症状，其中大部分与进食 “ 问题生蚝 ” 有关。卫生局最早在 3 日公布说，有 14 名来自三个群体的港澳人士 8月 27日至 30日期间在澳门金沙酒店用餐后出现不适，患者陆续出现发热、呕吐和腹泻等类诺沃克样病毒感染的症状。初步调查显示， “ 上述情况可能和进食生蚝有关 ” 。
2008年 9月 9日新华网 9月 8日信息：（记者张家伟）澳门特区政府卫生局疾病预防及控制中心 8 日表示，目前累计有 141 人在本地自助餐厅进食后出现食物中毒症状，其中大部分与进食 “ 问题生蚝 ” 有关。卫生局最早在 3 日公布说，有 14 名来自三个群体的港澳人士 8月 27日至 30日期间在澳门金沙酒店用餐后出现不适，患者陆续出现发热、呕吐和腹泻等类诺沃克样病毒感染的症状。初步调查显示， “ 上述情况可能和进食生蚝有关 ” 。
Loading classifier from E:\workspaces\EclipseEE4.4\aaaaaa\classifiers\chinese.misc.distsim.crf.ser.gz … done [6.8 sec].
2008年 9月 9日新华网 9月 8日信息：（记者张家伟）澳门特区政府卫生局疾病预防及控制中心 8 日表示，目前累计有 141 人在本地自助餐厅进食后出现食物中毒症状，其中大部分与进食 “ 问题生蚝 ” 有关。卫生局最早在 3 日公布说，有 14 名来自三个群体的港澳人士 8月 27日至 30日期间在澳门金沙酒店用餐后出现不适，患者陆续出现发热、呕吐和腹泻等类诺沃克样病毒感染的症状。初步调查显示， “ 上述情况可能和进食生蚝有关 ” 。
Complete!

斯坦福大学命名实体识别相关推荐

python命名实体识别工具_Day14：使用斯坦福 NER 软件包实现你自己的命名实体识别器（Named Entity Recognition，NER）...
编者注:我们发现了有趣的一系列文章<30天学习30种新技术>,正在翻译中,一天一篇更新,年终礼包.下面是第 14 天的内容. 我并不是一个机器学习(Machine Learning).自然 ...
命名实体识别python_命名实体识别的两种方法
作者 | Walker [磐创AI导读]:本文主要介绍自然语言处理中的经典问题--命名实体识别的两种方法. 目录一．什么是命名实体识别二．基于NLTK的命名实体识别三．基于Stanford的NE ...
命名实体识别的两种方法
作者:Walker 目录一．什么是命名实体识别二．基于NLTK的命名实体识别三．基于Stanford的NER 四．总结一 .什么是命名实体识别? 命名实体识别( ...
python 命名实体识别_命名实体识别的两种方法
作者:Walker 目录一．什么是命名实体识别二．基于NLTK的命名实体识别三．基于Stanford的NER 四．总结一 .什么是命名实体识别? 命名实体识别(Named Entity Rec ...
Stanford Named Entity Recognizer (NER) 斯坦福命名实体识别（NER）
以下翻译内容来自:https://nlp.stanford.edu/software/CRF-NER.html About 关于 Stanford NER is a Java implementati ...
斯坦福命名实体识别（Stanford Named Entity Recognizer）
http://nlp.stanford.edu/software/CRF-NER.shtml 这里对Stanford Named Entity Recognizer作了基本的介绍,提供了下载的链接, ...
初学者 | 一文读懂命名实体识别
本文对自然语言基础技术之命名实体识别进行了相对全面的简绍,包括定义.发展历史.常见方法.以及相关数据集,最后推荐一大波python实战利器,并且包括工具的用法. 定义先来看看维基百科上的定义:Nam ...
介绍几个专门面向中文的命名实体识别和关系抽取工具
知识图谱已经在人工智能的各个领域发挥越来越重要的作用,例如视觉问答.对话系统.推荐系统等.知识图谱构建是应用这些知识图谱的基础,而面对生活和企业中数据的爆发式增长,自动化知识图谱构建显得越来越重要.从 ...
一文读懂命名实体识别
本文对自然语言基础技术之命名实体识别进行了相对全面的介绍,包括定义.发展历史.常见方法.以及相关数据集,最后推荐一大波 Python 实战利器,并且包括工具的用法. 01 定义先来看看维基百科上的定 ...

斯坦福大学命名实体识别

斯坦福大学命名实体识别相关推荐

最新文章

热门文章