SCWS 添加自定义词典

最近使用了SCWS进行中文分词。有个问题就是添加自定义词典，总结一下吧。

词典格式的话

　　# WORD TF IDF ATTR

学五 14.01 5.92 n

去这个网址可查:http://www.xunsearch.com/scws/demo/get_tfidf.php

自己写的，把要查的词放到txt中，然后批量查询~

require_once __DIR__.'/func/my_curl_function.php';

require_once __DIR__.'/func/simple_html_dom.php';

$url='http://www.xunsearch.com/scws/demo/get_tfidf.php';

$header=array(

"Referer:http://www.xunsearch.com/scws/demo/get_tfidf.php",

"Cookie:PHPSESSID=1fuk5j3ckb7n55s5j4cltk2sd3"

);

$f= fopen('tfidf.txt','r');

$i=0;

$html=new simple_html_dom();

while (!feof($f))

{

sleep(1);

$contents = array();

$contents = trim(fgets($f));

if($contents=="")continue;

//echo $contents;

$data['data']=urlencode(trim($contents));

$returndata=my_curl_post($url,$data,$header);

//var_dump($returndata);

//正则匹配出TF IDF

preg_match('/WORD=.*? TF=(.*?) IDF=(.*?)<br \/>/',$returndata,$ret);

$tf=$ret[1];

$idf=$ret[2];

echo "\n";

echo $contents."\t".$tf."\t".$idf."\tn\r\n";

//$html->load($returndata);

//$ps=$html->find('p');

//var_dump($ret);

file_put_contents("tfidf.out",$contents."\t".$tf."\t".$idf."\tn\r\n",FILE_APPEND);

}

fclose($f);

生成好自己的字典后就可以添加了

其实只要添加$so->add_dict('路径',词典);即可.

function scws_text($string)

{

$so = scws_new();

$so->set_charset('utf8');

$so->set_ignore(true);

$so->add_dict('/usr/local/scws/etc/dict.xdb',SCWS_XDICT_XDB);

$so->add_dict('/usr/local/scws/etc/dict.utf8.xdb',SCWS_XDICT_XDB);

$so->add_dict('/usr/local/scws/etc/mydict.txt',SCWS_XDICT_TXT);

$so->send_text($string);

$text ="";

while ($tmp = $so->get_result())

{

foreach($tmp as $key=>$value){

//print_r($tmp);

//$tmp .= $tmp;

$text .= $value['word']." ";

}

//print_r($text);

$so->close();

return $text;

}

添加上就可以使用咯

本文转自努力的C 51CTO博客，原文链接:http://blog.51cto.com/fulin0532/1952455

SCWS 添加自定义词典相关推荐

结巴分词jieba添加自定义词典
结巴分词添加自定义词典,有时候很有必要.比如下面这段话: test_text = """ 我们的健康码也是绿色的,这凭什么就限制我们的就医!""&qu ...
2.5.jieba分词工具、Jieba安装、全模式/精确模式、添加自定义词典、关键词抽取、词性标注、词云展示
2.5.jieba分词工具 2.5.1.Jieba安装 2.5.2.全模式/精确模式 2.5.3.添加自定义词典 2.5.4.关键词抽取 2.5.5.词性标注 2.5.6.词云展示 2.5.jieba ...
[Python知识图谱] 三.Jieba工具中文分词、添加自定义词典及词性标注详解
本系列文章主要结合Python语言实现知识图谱构建相关工程,具有一定创新性和实用性,非常希望各位博友交流讨论,相互促进成长.前面两篇文章详细讲解了哈工大Pyltp工具,包括中文分词.词性标注.实体识别 ...
如何在基于Lucene的中文分词器中添加自定义词典（如Paoding、mmseg4j、IK Analyzer）...
如何在基于Lucene的中文分词器中添加自定义词典(如Paoding.mmseg4j.IK Analyzer) 2013-07-08 21:54:29| 分类: 计算机 |字号订阅 1. 使用Pa ...
pyhanlp添加自定义词典
1.找到python安装包的位置,对site-packages\pyhanlp\static\data\dictionary\custom\CustomDictionary.txt,将词典放置该目录下 ...
python--jieba分词、词性标注、关键词提取、添加自定义词典完整代码示例
jieba 是目前最好的 Python 中文分词组件,它主要有以下 3 种特性: 支持 3 种分词模式:精确模式.全模式.搜索引擎模式支持繁体分词支持自定义词典 1 分词可使用 jieba. ...
ansj添加自定义词典以及解决ansj加载自定义词典不起作用问题
pom文件中添加 <dependency><groupId>org.ansj</groupId><artifact ...
安装scws需要安装php吗,Linux 安装SCWS-1.2.3 安装说明（包括php扩展）
scws 安装 $ wget -q -O - http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2 | tar xjf - $ cd scws-1 ...
jieba结巴分词加入自定义词典
文章目录分词返回generator 返回list 添加自定义词典动态调整词典参考 jieba官方文档分词返回generator jieba.cut 以及 jieba.cut_for_sea ...

SCWS 添加自定义词典

SCWS 添加自定义词典相关推荐

最新文章

热门文章