中文HanLp分词入门

入门

# 比如我们要对 `我来到中华人民共和国` 这句话做一个分词，我们来人为分一下
1. 我 / 来到 / 中华人民共和国
2. 我 / 来到 / 中华 / 华人 / 人民 / 中华人民 / 中华人民共和国 / 共和国

对于中文我们有不不同的分词方法，但是从我们当下的这个语境上看，肯定第一种分词方式是我们想要的。但是在不同的上下文，可能我们需要的是第二种分词方式。

有很多开源的分词工具可以帮助我们做这个事情，比如Jieba,NLPIR[中科院]，HanLP,LTP[哈工大]等等。各家的分词工具包会略有差异，但是大方向是不变的，目的都是为了中文分词。

代码测试

导入依赖

 <dependency><groupId>com.hankcs</groupId><artifactId>hanlp</artifactId><version>portable-1.7.8</version>
</dependency>

import com.hankcs.hanlp.HanLP
import com.hankcs.hanlp.dictionary.stopword.CoreStopWordDictionary
import com.hankcs.hanlp.seg.common.Termimport java.util
import scala.collection.JavaConversions._object myTestnlp extends App {System.setProperty("HADOOP_USER_NAME", "root")//开启调试模式(会降低性能)HanLP.Config.enableDebug()val str = "你好上海,丁香路合欢路"//参数:text – 文本//返回:切分后的单词val terms: util.List[Term] = HanLP.segment(str)//对分词结果应用过滤CoreStopWordDictionary.apply(terms)private val res: String = terms.map(term => {//term.nature 代表词性(term.word, term.nature)}).mkString(",")println(s"res = ${res}")
}

运行结果

人名角色观察：[  K 1 A 1 ][你好 L 2 ][上海 L 35 K 34 ][, K 532 L 151 M 24 ][丁香 X 2 ][路 B 482 D 254 L 157 C 120 E 57 K 19 ][合欢 A 20833310 ][路 B 482 D 254 L 157 C 120 E 57 K 19 ][  K 1 A 1 ]
人名角色标注：[ /K ,你好/L ,上海/K ,,/K ,丁香/X ,路/D ,合欢/A ,路/K , /K]
识别出人名：丁香路 XD
细分词网：
0:[ ]
1:[你好]
2:[]
3:[上海]
4:[]
5:[,]
6:[丁香, 丁香路]
7:[]
8:[路]
9:[合欢]
10:[]
11:[路]
12:[ ]res = (你好,l),(上海,ns),(丁香路,nr),(合欢,n),(路,n)

总结

HanLP可以对中文进行分词

中文HanLp分词入门相关推荐

python 分词工具训练_中文分词入门和分词工具汇总攻略
[注意]如果寻找分词和文本分析软件,为了完成内容分析和其他文本研究任务,直接使用集搜客分词和文本分析软件就可以了.本文是为了讲解集搜客分词和文本分析的实现原理,是给产品设计者和开发者看的. 最近在整理 ...
中文分词入门之字标注法4
http://www.52nlp.cn/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E5%85%A5%E9%97%A8%E4%B9%8B%E5%AD%97%E6%A0%8 ...
中文分词入门之字标注法3
中文分词入门之字标注法3 http://www.52nlp.cn/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E5%85%A5%E9%97%A8%E4%B9%8B%E5% ...
c语言西文空格,中文分词入门之最大匹配法
中文分词在中文信息处理中是最最基础的,无论机器翻译亦或信息检索还是其他相关应用,如果涉及中文,都离不开中文分词,因此中文分词具有极高的地位.中文分词入门最简单应该是最大匹配法了,当年师兄布置给我的第一 ...
java hanlp分词_Hanlp分词实例：Java实现TFIDF算法
算法介绍最近要做领域概念的提取,TFIDF作为一个很经典的算法可以作为其中的一步处理. 关于TFIDF算法的介绍可以参考这篇博客http://www.ruanyifeng.com/blog/2013 ...
Solr配置中文的分词器-简单配置
Solr配置中文的分词器文章目录 Solr配置中文的分词器英文分词中文的查询 Solr需要配置中文分词器(重要) 配置中文分词后,再分析一次这篇文章,主要是讲解Solr如何配置中文分词器, ...
python 分词包_python调用hanlp分词包手记
python调用hanlp分词包手记 Hanlp作为一款重要的分词工具,本月初的时候看到大快搜索发布了hanlp的1.7版本,新增了文本聚类.流水线分词等功能.关于hanlp1.7版本的新功能,后面有 ...
hanlp分词学习笔记
流行中英文分词工具hanlp: 中英文NLP处理工具包, 基于tensorflow2.0, 使用在学术界和行业中推广最先进的深度学习技术. 使用hanlp进行中文分词: >>> im ...
hanlp java api_python调用hanlp分词包手记
python调用hanlp分词包手记 Hanlp作为一款重要的分词工具,本月初的时候看到大快搜索发布了hanlp的1.7版本,新增了文本聚类.流水线分词等功能.关于hanlp1.7版本的新功能,后面有 ...

中文HanLp分词入门

入门

代码测试

总结

中文HanLp分词入门相关推荐

最新文章

热门文章