SCWS中文分词，向xdb词库添加新词

　　SCWS是个不错的中文分词解决方案，词库也是hightman个人制作，总不免有些不尽如人意的地方。有些词语可能不会及时被收入词库中。
　　幸好SCWS提供了词库XDB导出导入词库的工具（phptool_for_scws_xdb.zip），下载后解压至任意文件夹，我解压至“E:/www/tools/scws_xdb/”目录下。在命令行下进入PHP的安装目录，我的目录是”E:/xampp/php“。

　步骤1：执行命令行，将词库先导出来，生成一个文本文件(dict.txt)：

　　　
　　命令格式为：php dump_xdb_file.php <要导出的.xdb文件> [要存入的文本文件]
　　几秒后在E:/scws目录下我就获得了导出的纯文本文件dict.txt。
　　用文本编辑器打开dict.txt文件，我建议用EditPlus，用windows的记事薄的话不能正常显示换行符。dict.txt中文本格式为：

　　# WORD TF IDF ATTR
　　当机立断 14.01 8.10 i

　　#开头的行是注释。每行是一个词。每个词分为四部分，WORD列是词本身，TF和IDF列是词权重，ATTR列是词性。
　　在这里要解释下TF和IDF的意思，它们合起来称作TF-IDF（term frequency– inverse document frequency），是一种用于资讯检索与资讯探勘的常用加权技术，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用分类。说起来很不好理解，其实也不需要理解，SCWS也提供了新词生词的TF/IDF计算器，可以自动获得词语的权重值。
　　ATTR是词性，也就是标示词语是名字、动词、形容词等等词性的。详细的词性标示方法请看SCWS的说明：词典词性标注详解
　　我要添加的词语是”芽菜“，是名词，用n标示。得到的IF、IDF值分别是13.82和7.48，那么在dict.txt结尾我追加了如下一行：
　　芽菜 13.82 7.48 n
　　

　　步骤2：再执行如下命令，将修改好的dict.txt重新生成xdb文件。

　　
　　命令格式为：php make_xdb_file.php <要生成的.xdb> [导入的文本文件]
　　
　　生成xdb文件的过程需要比较长的时间，请耐心等待，如下图：
　　　　
　　
　　就这么简单，补充了新词的词库制作完成！
　　

转载于:https://www.cnblogs.com/martinzhang/p/3209742.html

SCWS中文分词，向xdb词库添加新词相关推荐

Elasticsearch配置ik中文分词器自定义词库
1.IK配置文件在config目录下: IKAnalyzer.cfg.xml:配置自定义词库 main.dic:分词器自带的词库,索引会按照里面的词创建 quantifier.dic:存放计量单位词 ...
PHP中使用SCWS中文分词详解
PHP中使用SCWS中文分词 SCWS 简介 SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统). 这是一套基于词频词典的机械式中文分 ...
SCWS中文分词，功能函数实例应用
结合前文的demo演示,现写一个实用的功能函数,使用方法: header('Content-Type:text/html;charset=UTF-8'); $text = '我是一个中国 ...
使用Python做中文分词和绘制词云
使用Python做中文分词和绘制词云李小璐出轨云词图作为一门编程语言,Python的编写简单,支持库强大,应用场景多,越来越多的人开始将它作为自己的编程入门语言. Python一个比较重要的场景是 ...
php scws 获取分词结果,php实现scws中文分词搜索的方法
本文实例讲述了php实现scws中文分词搜索的方法.分享给大家供大家参考,具体如下: 1.4个文件(本站下载地址.)解压后,放到一个地方 eg:E:/wamp/scws 2.php.ini 中配置 e ...
用Python做中文分词和绘制词云图
用Python做中文分词和绘制词云图 Python窗体布局 def __init__(self):self.root=Tk()self.root.wm_title('绘制词云')self.root.r ...
Elasticsearch7.15.2 ik中文分词器定制化分词器之扩展词库（远程）
IK分词提供的两个分词器,并不支持一些新的词汇,有时候也不能满足实际业务需要,这时候,我们可以定义自定义词库来完成目标. 文章目录一.静态web搭建 1. 安装nginx 2. 创建es目录 3. ...
es ik 词库添加词语_Elasticsearch配置IK分词器的远程词库
在生活中很多很多地方都涉及到了全文检索,最常见的就好比日常使用到的百度搜索等搜索引擎,也都是基于全文检索来实现的:全文检索种类较多,就好比Elasticsearch.Sorl等. 为Ealsticse ...
scws sphinx mysql_Sphinx系列文章\SCWS中文分词
软件清单 SCWS: 1.2.2,下载 XDB字典: 下载安装 For Mac / Linux 请注意,我的系统是Mac OS X 10.11.2 假设你已经下载好了上面的软件. 第一步:编译和安装 ...

SCWS中文分词，向xdb词库添加新词

SCWS中文分词，向xdb词库添加新词相关推荐

最新文章

热门文章