一.不停止mysql的情况下安装SphinxSE

1.确定mysql版本,下载对应源码包

此处下载5.1.69的mysql源码包

#wget ftp://ftp.ntu.edu.tw/pub/MySQL/Downloads/MySQL-5.1/mysql-5.1.69.tar.gz

解压

2.下载sphinx:

#wget http://sphinxsearch.com/downloads/sphinx-0.9.9.tar.gz

解压

3.拷贝mysqlse到mysql5.1.69下的storage/sphinx

#cp -r sphinx-0.9.9/mysqlse/ mysql-5.1.69/storage/sphinx

4.编译

#cd mysql-5.1.69

#sh BUILD/autorun.sh

#./configure

#make

5.mysql插入sphinx引擎

#cd ./mysql-5.1.69

#cd ./storage/sphinx/.libs

#cp ha_sphinx.* /usr/lib64/mysql/plugin

更改所有者

#chown mysql.mysql /usr/lib64/mysql/plugin/*

登录mysql,插入引擎

#mysql -u root -p -h localhost

#mysql> INSTALL PLUGIN sphinx SONAME 'ha_sphinx.so';

检查引擎是否安装

#mysql> show engines;

如果出现sphinx引擎,则表明已正常安装

二.安装Coreseek,使其支持中文索引及检索

1.安装autoconf

2.下载coreseek3.2.14.tar.gz,并解压缩

3.安装mmseg分词

#cd coreseek-3.2.14

#./bootstrap

#./configure --prefix=/usr/local/mmseg3

#make

#make install

4.安装csft

#cd ../csft-3.2.14/

#sh buildconf.sh

#./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql

===========================================================

##如果出现错误提示:“ERROR: cannot find MySQL include files.......To disable MySQL support, use --without-mysql option.“,可按照如下方法处理:

##请找到头文件mysql.h所在的目录,一般是/usr/local/mysql/include,请替换为实际的

##请找到库文件libmysqlclient.a所在的目录,一般是/usr/local/mysql/lib,请替换为实际的

##configure参数加上:--with-mysql-includes=/usr/local/mysql/include --with-mysql-libs=/usr/local/mysql/lib,执行后,重新编译安装

============================================================

#make

#make install

三.配置并测试

1.进入coreseek目录

#cd /usr/local/coreseek/etc

#ls

可以看到三个文件

example.sql  sphinx.conf.dist  sphinx-min.conf.dist

#cp sphinx.conf.dist sphinx.conf

2.配置sphinx.conf

source src1

{

type                   = mysql

sql_host               = localhost

sql_user               = root

sql_pass               = 123456

sql_db                 = test

sql_port               = 3306   # optional, default is 3306

sql_sock                              = /var/lib/mysql/mysql.sock

sql_query_pre = SET NAMES utf8

sql_query              = \

SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content \

FROM documents

sql_attr_uint          = group_id

sql_attr_timestamp     = date_added

sql_query_info              = SELECT * FROM documents WHERE id=$id

}

index test1

{

source                      = src1

path                   = /usr/local/coreseek/var/data/test1

docinfo                     = extern

charset_type           = zh_cn.utf-8

mlock              = 0

morphology         = none

min_word_len       = 1

html_strip         = 0

charset_dictpath       = /usr/local/mmseg3/etc/

ngram_len                    = 0

}

indexer

{

mem_limit              = 32M

}

searchd

{

port                   = 9312

log                    = /usr/local/coreseek/var/log/searchd.log

query_log              = /usr/local/coreseek/var/log/query.log

read_timeout           = 5

max_children           = 30

pid_file               = /usr/local/coreseek/var/log/searchd.pid

max_matches                 = 1000

seamless_rotate             = 1

preopen_indexes             = 0

unlink_old                  = 1

}

3.创建test数据库,并建立表documents,sql语句如下

DROP TABLE IF EXISTS test.documents;

CREATE TABLE test.documents

(

id                      INTEGER PRIMARY KEY NOT NULL AUTO_INCREMENT,

group_id        INTEGER NOT NULL,

group_id2       INTEGER NOT NULL,

date_added      DATETIME NOT NULL,

title           VARCHAR(255) NOT NULL,

content         TEXT NOT NULL

);

REPLACE INTO test.documents ( id, group_id, group_id2, date_added, title, content ) VALUES

( 1, 1, 5, NOW(), 'test one', 'this is my test document number one. also checking search within phrases.' ),

( 2, 1, 6, NOW(), 'test two', 'this is my test document number two' ),

( 3, 2, 7, NOW(), 'another doc', 'this is another group' ),

( 4, 2, 8, NOW(), 'doc number four', 'this is to test groups' );

DROP TABLE IF EXISTS test.tags;

CREATE TABLE test.tags

(

docid INTEGER NOT NULL,

tagid INTEGER NOT NULL,

UNIQUE(docid,tagid)

);

INSERT INTO test.tags VALUES

(1,1), (1,3), (1,5), (1,7),

(2,6), (2,4), (2,2),

(3,15),

(4,7), (4,40);

4.生成索引

#/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf --all

其中参数--all表示生成所有索引

当然也可以是索引的名字例如:#/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf test1

执行后可以在/usr/local/coreseek/var/data目录中看到多出一些文件,是以索引名为文件名的不同的扩展名的文件

在不启动sphinx的情况下即可测试命令:

#/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/sphinx.conf number

#/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/sphinx.conf number --filter group_id 2

限定group_id 为2 返回一条记录

我们插入几条数据来测试中文

set names utf8  之前一定要设置字符集

INSERT INTO `test`.`documents` (

`id` ,

`group_id` ,

`group_id2` ,

`date_added` ,

`title` ,

`content`

)

VALUES (

NULL , '2', '3', '2011-02-01 00:37:12', '研究生的故事', '研究生自主创业'

), (

NULL , '1', '1', '2011-01-28 00:38:22', '研究', '为了创业而研究生命科学'

);

插入数据后需要重新索引

#/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf test1

进行测试

#/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/sphinx.conf 研究生创业

四.实际使用

1.作为守护进程启动

#/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/sphinx.conf

2.建立一个sphinx引擎的表

CREATE TABLE t1

(

id          INTEGER UNSIGNED NOT NULL,

weight      INTEGER NOT NULL,

query       VARCHAR(3072) NOT NULL,

group_id    INTEGER,

INDEX(query)

) ENGINE=SPHINX CONNECTION="sphinx://localhost:9312/test1";

搜索表前三列的类型必须是INTEGER,INTEGER和VARCHAR,这三列分别对应文档ID,匹配权值和搜索查询。查询列必须被索引,其他列必须无索引。列的名字会被忽略,所以可以任意命名,参数CONNECTION来指定用这个表搜索时的默认搜索主机、端口号和索引,语法格式:CONNECTION="sphinx://HOST:PORT/INDEXNAME"。

执行SQL语句 select d.id,d.title,d.content from t1 join documents as d on t1.id = d.id and t1.query = '研究生创业';

即可查询结果

3.在不停止searchd的情况下主索引

插入数据后创建主索引

#/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf test1 --rotate

对于实际应用,应该是主索引+增量索引

转载于:https://www.cnblogs.com/itfenqing/p/4429417.html

Sphinx+MySQL5.1x+SphinxSE+mmseg相关推荐

  1. Centos+Mysql+sphinx+mmseg(rhel4)

    一.所需文件列表 mmseg-0.7.3.tar.gz                             中文分词 mysql-5.1.26-rc.tar.gz                  ...

  2. MySQL 存储引擎 (SphinxSE)安装详解

    sphinxSE是一个mysql存储引擎,它可以编译进入mysql server之中,但必须版本是5.x(5.0.22或者5.0.x更高版本,5.1.12或者更高但5.1.x),在这里我采用的是5.1 ...

  3. 全文索引JAVA_全文索引Sphinx和sphinx的中文分词

    网站需要做全文索引,所以研究了一下sphinx 1 Sphinx是什么 Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎.意图为其他应用提供高速.低空间占用.高结果 相关 ...

  4. Mysql优化,是什么,如何优化(一)

    分享经验 以前的技术活都是有个师傅一把手教导,现在技术活只能靠自己去学习.我作为程序员,要把握两点,一是市场,二是实战技术.市场作为导向,而实战技术才是技术人员最大的财富.我经常会去看行业的招聘信息. ...

  5. MyBatis框架快速入门

    MyBatis框架快速入门 入门案例 创建一个关于Mybatis项目 首先创建一个空项目,然后新建一个moudle,选择quickstart,接下来把模块放到空项目之下.即可 实现mybatis查询数 ...

  6. 中文全文检索Coreseek, Sphinx-for-Chinese, SCWS的使用对比

    最近在做网站的全文检索, 因为网站前端使用的是PHP, Java的效率不高, 资源消耗和维护成本都比较大, 所以排除掉了Lucence. 最开始考虑的是Sphinx. 有一个中文的Sphinx项目叫C ...

  7. mysql sphinx 中文搜索_sphinx+mysql+mmseg 实现中文全站搜索 安装配置文档

    一.Sphinx的特性 高速的建立索引(在当代CPU上,峰值性能可达到10 MB/秒); 高性能的搜索(在2 – 4GB 的文本数据上,平均每次检索响应时间小于0.1秒); 可处理海量数据(目前已知可 ...

  8. php mmseg,coreseek+sphinx+mmseg中文分词安装

    由于官网挂了,找资源 下载coreseek+sphinx+mmseg中文分词安装费了很多时间 开始是在github上一阵狂搜,找了几个都安装失败,后来在csdn上找到资源,一阵折腾之后安装成功 准备工 ...

  9. sphinx mysql存储引擎_基于Sphinx+MySQL的千万级数据全文检索(搜索引擎)架构设计...

    Sphinx,单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级).Sphinx创建索引的速度为:创建100万条记录的索引只需3-4分钟,创建1000万条记录的索引可以在5 ...

最新文章

  1. 并发执行变成串行_一篇讲透如何理解数据库并发控制(纯干货)
  2. Windows Server 2008 R2 活动目录服务部署 (一)
  3. 数据分析 超市条码_一样的品牌哪里买?9.9元都不到的品牌牛排、火锅原来在条码商城...
  4. leetcode题目解析(js)--链表
  5. Mac-安装Homebrew报错error: could not lock config file .git/config:
  6. 微信小程序实现轨迹回放
  7. html 隐藏_HTML实战篇:纯css制作二级横向以及竖向菜单导航
  8. 香蕉派开源硬件 Banana PI
  9. python画羊_羊车门作业 Python版
  10. Optisystem中器件的学习(3-WDM Multiplexers Library/Optical Fibers Library/Amplifiers Library/Fiters Librar)
  11. L298Nnbsp;驱动模块的应用
  12. c# splitContainer 中间的分割线问题
  13. PHP求职宝典系列——PHP Web 编程篇
  14. GPT-4 终问世!旧王已死,新王当立!面对AI,人类真的准备好了吗?
  15. Gitee推送本地文件到仓库并且创建子文件夹(详细)
  16. Dubbo流程及源码分析(一)
  17. jQuery事件总结(二)
  18. 支付宝小程序(支付)
  19. 基于javaweb的校园外卖点餐系统(java+ssm+jsp+mysql)
  20. 关于使用条码打印机指令打印汉字的问题

热门文章

  1. supersocke接收不到数据_基于SuperSocket的北斗终端数据接收服务的设计与实现
  2. 您已从远程计算机注销,您无法从 Windows Server 2008 R2 中的远程桌面会话注销
  3. 苹果关掉200m限制_苹果下载大于200M限制
  4. 小学计算机教师育人案例,台屯小学青年教师李春秀育人案例
  5. html+css 小案例(一)
  6. IntelliJ IDEA关于logger的live template配置
  7. int.class 与 Integer.class
  8. codeforces B. Strongly Connected City(dfs水过)
  9. PyTorch 分布式训练DDP 单机多卡快速上手
  10. 锁定计算机在哪里设置方法,怎样锁定电脑?如何设置电脑锁屏【步骤详解】