PHP中文分词扩展 SCWS

1、scws简单介绍
SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。
这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开。所以怎样准确并高速分词一直是中文分词的攻关难点。
SCWS 採用纯 C 语言开发，不依赖不论什么外部库函数。可直接使用动态链接库嵌入应用程序，支持的中文编码包含 GBK、UTF-8 等。

此外还提供了 PHP 扩展模块，可在 PHP 中高速而方便地使用分词功能。

分词算法上并无太多创新成分。採用的是自己採集的词频词典。并辅以一定的专有名称，人名，地名。数字年代等规则识别来达到基本分词，经小范围測试准确率在 90% ~ 95% 之间，基本上能满足一些小型搜索引擎、keyword提取等场合运用。

2、scws下载与安装
scws支持windows平台以及linux/unix平台，本次简单以windwos下安装为例进行说明：
[1]下载php_scws.dll文件、XDB 词典文件、规则集文件，详细能够參考网址：http://www.xunsearch.com/scws/download.php
[2]将php_scws.dll文件复制到php安装路径下。
[3]将XDB 词典文件、规则集文件解压到对应盘符，比如D:/ceshi
[4]改动php.ini,添加一下代码：

extension = php_scws.dll
scws.default.charset = gbk
scws.default.fpath = "D:\ceshi\"

3、scws实现分词的简单案例

<?

php $sh = scws_open(); scws_set_charset($sh, 'gbk'); $text = "我是一个中国人，我会C++语言，我也有非常多T恤衣服"; scws_send_text($sh, $text); $top = scws_get_tops($sh, 5); print_r($top); ?>

转载于:https://www.cnblogs.com/yfceshi/p/6860606.html

PHP中文分词扩展 SCWS相关推荐

PHP+mysql数据库开发搜索功能：中英文分词+全文检索（MySQL全文检索+中文分词（SCWS））...
PHP+mysql数据库开发类似百度的搜索功能:中英文分词+全文检索中文分词: a) robbe PHP中文分词扩展: http://www.boyunjian.com/v/softd/robb ...
SOLR配置默认的一元分词与安装主流的中文分词扩展
引言:SOLR用的好不好,分词是关键,分词分的好不好,词库是关键.没有完美的分词和词库,只有更适合你网站的分词和词库. 目前网络上主流的SOLR分词模块: 1.庖丁分词:PAODING 参考地址:ht ...
中文分词软件SCWS
windows下安装SCWS的中文扩展: 去官网下载php_scws.dll(PHP-5.2.x根据php版本选择) .XDB 词典文件(简体中文(UTF-8)可选gbk,也可以把两个词典文件都下载) ...
常用的开源中文分词工具
转载自: http://www.scholat.com/vpost.html?pid=4477 常用的开源中文分词工具由于中文文本词与词之间没有像英文那样有空格分隔,因此很多时候中文文本操作都涉及 ...
基于Java实现的中文分词系统
资源下载地址:https://download.csdn.net/download/sheziqiong/85941192 资源下载地址:https://download.csdn.net/downl ...
Apache Solr 中文分词
中文分词 (Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词.分词就是将连续的字序列按照一定的规范重新组合成词序列的过程.我们知道,在英文的行文中,单词 ...
几款开源的中文分词系统
以下介绍4款开源中文分词系统 python环境下,jieba也不错,实现词性分词性能据说不错. 1.ICTCLAS – 全球最受欢迎的汉语分词系统中文词法分析是中文信息处理的基础与关键.中国科学院计 ...
基于HTTP协议的开源中文分词系统：HTTPCWS 1.0.0 发布
基于HTTP协议的开源中文分词系统:HTTPCWS 1.0.0 发布[原创] 发布版本: httpcws 1.0.0 (最新版本:2009-08-10发布) 程序网址:http://code.goog ...
详细介绍NLP中文分词原理及分词工具
基于词表的分词方法正向最大匹配算法FMM 从左到右扫描文本,得到词的最大匹配. 案例分析: 用正向最大匹配法对"秦皇岛今天晴空万里"进行中文分词,见下表. 词典 :"秦 ...
php+中文分词scws+sphinx+mysql打造千万级数据全文搜索
Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎.意图为其他应用提供高速.低空间占用.高结果相关度的全文搜索功能.Sphinx可以非常容易的与SQL数据库和脚本语言集成 ...

PHP中文分词扩展 SCWS

PHP中文分词扩展 SCWS相关推荐

最新文章

热门文章