SPARK+ANSJ 中文分词基本操作

ANSJ 5.0.2

这是一个基于n-Gram+CRF+HMM的中文分词的java实现.
分词速度达到每秒钟大约200万字左右（mac air下测试），准确率能达到96%以上
目前实现了.中文分词. 中文姓名识别 . 用户自定义词典,关键字提取，自动摘要，关键字标记等功能
可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.

下载地址：http://maven.nlpcn.org/org/ansj/

ansj_seg-5.0.2-all-in-one.jar

单个添加词典

import org.ansj.library.UserDefineLibrary

UserDefineLibrary.insertWord("艾泽拉斯","n",10) //参数（自定义词，词性，词频）

println(parse)//精准分词val parse1 = ToAnalysis.parse("我在艾泽拉斯")println(parse1)[我/r, 在/p, 艾泽拉斯/n]//NLP分词val parse2 = NlpAnalysis.parse("我在艾泽拉斯")println(parse2)[我/r, 在/p, 艾泽拉斯/n]

import org.ansj.splitWord.analysis.{BaseAnalysis, NlpAnalysis, ToAnalysis}

//基础分词val parse = BaseAnalysis.parse("我在艾泽拉斯")[我/r, 在/p, 艾/nr, 泽/ag, 拉/v, 斯/rg]基础分词不支持用户自定义词典，所以不发生改变

单个移除词典

UserDefineLibrary.removeWord("艾泽拉斯")
val parse3 = ToAnalysis.parse("我在艾泽拉斯")
println(parse3)
[我/r, 在/p, 艾泽拉/nr, 斯/rg]

加载自定义词库

import org.ansj.library.UserDefineLibrary
词库格式（"自动义词"[tab]键"词性"[tab]键"词频"）

UserDefineLibrary.loadLibrary(UserDefineLibrary.FOREST,"/home/spark/opt/hadoop-2.7/bin/address2.dic")

艾泽拉斯    n    1000雷霆图腾    n    1000至高岭    n    1000

[我/r, 在/p, 艾泽拉斯/n, 至高岭/n, 雷霆图腾/n]

println(ToAnalysis.parse("我在艾泽拉斯至高岭雷霆图腾"))

第一个参数直接默认为

第二个参数词库路径address2.dic 格式

UserDefineLibrary.FOREST

去停用词

import org.ansj.recognition.impl.FilterRecognition
1.根据自定义词去停用词

val filter = new FilterRecognition()

val stopWord = "冠军"

val str = "湖人获得了冠军"val parse4 = ToAnalysis.parse(str).recognition(filter)println(parse4)湖/n,人/n,获得/v,了/ul2.根据词性去停用词val filter1 = new FilterRecognition()filter1.insertStopNatures("n")

val str = "湖人获得了冠军"

val parse5 = ToAnalysis.parse(str).recognition(filter)获得/v,了/ul3.根据正则表达式去停用词val filter2 = new FilterRecognition()filter2.insertStopRegex(Regex)//正则表达式

filter.insertStopWord(stopWord)

SPARK+ANSJ 中文分词基本操作相关推荐

spark+ansj中文分词
我是在win10中创建的maven项目,使用的是ansj _seg 5.1.6版本 https://github.com/NLPchina/ansj_seg <dependency>< ...
Ansj中文分词Java开发自定义和过滤词库
Ansj中文分词应用时,需要自定义词库,比如城中村,分词成城.中.村,需自定义词库,有时,也需要过滤单词.具体代码如下,可以结合执行结果看代码效果. 1.过滤词库 package csc.ansj;i ...
Ansj中文分词Java开发词性分类
用ansj分词后,只提取满足提交的词性的单词. Ansj下载地址:http://maven.ansj.org/org/ansj/ansj_seg/ 辅助包NLP下载地址:http://maven.an ...
Ansj中文分词Java开发小记
1.ansj中文分词器:https://github.com/NLPchina/ansj_seg 基于n-Gram+CRF+HMM的中文分词的java实现. 分词速度达到每秒钟大约200万字左右 ...
Ansj中文分词使用教程
摘要: ansj是一个基于n-Gram+CRF+HMM的中文分词的java实现. ansj分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上 Ansj目前实现了.中文 ...
ansj中文分词器详解
ansj中文分词器详解最近在做一个人工智能的项目,其中用到了分词功能.从网上找了一些java用于分词的工具,最终选择了ansj中文分词器.个人认为效果和功能是比较优秀的.本文将对ansj的所有功 ...
java Ansj中文分词器
##Ansj中文分词这是一个基于n-Gram+CRF+HMM的中文分词的java实现. 分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上目前实现了.中文分词. 中 ...
Ansj中文分词说明
Ansj分词这是一个基于n-Gram+条件随机场模型的中文分词的java实现. 分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上目前实现了.中文分词. 中文姓名 ...
基于java的中文分词工具ANSJ
ANSJ 这是一个基于n-Gram+CRF+HMM的中文分词的java实现. 分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上目前实现了.中文分词. 中文姓名识别 ...

SPARK+ANSJ 中文分词基本操作

SPARK+ANSJ 中文分词基本操作相关推荐

最新文章

热门文章