微服务集成cas_Spring Boot + Solr 全文检索微服务简易集成
点击上方 Java后端,选择 设为星标
优质文章,及时送达
作者:JasonGofen
链接:https://www.jianshu.com/p/95869ade37b3
本文内容主要讲解Solr 7.7.1 环境搭建后使用Spring boot 2.1.3集成SolrJ实现简易全文检索微服务,对于Solr与Spring boot的介绍内容网上资料很多,本文不再赘述。
关于本文内容所涉及资源在最后会给大家统一都列出来。
一、环境说明
Spring boot 结合 SolrJ 实现对Solr Server的访问是非常简单的,它们相互之间的关系如下图所示。
主体实现是通过在Spring boot微服务中集成SolrJ,配置好Solr Server参数,调用SolrJ中的CRUD API实现请求Solr Server端进行添加、修改、删除索引和查询的操作。至于如何结合现有业务系统,我们后面介绍。
图1 简易环境说明
下面以最简单快速的方式实现全文检索基础CRUD功能。
二、搭建Solr 7.7.1 Server端
因自己的电脑硬盘空间满了没装Linux虚拟机,就以Windows为例安装Solr Server端了。其实总体而言两个系统对Solr Server端的操作类似,各位看官举一反三就好,就两种系统部署Solr的不同下面也会做相应的提及。
已配置好的Solr 7.7.1下载:
https://pan.baidu.com/s/11s18oJVKpEVc-AmZO1xkgA
我们首先来了解一下Solr的常见命令:
启动:
./solr start
关闭:
./solr stop -all
重启:
./solr restart
创建Core:
./solr create -c YourCoreName -d _default
删除Core:
./solr delete -c YourCoreName
关于Solr更细致的内容,大家可以参阅下方链接:
Solr 官网
https://lucene.apache.org/solr/
Solr API官方文档
http://lucene.apache.org/solr/7_7_1/solr-solrj/index.html
Solr 中文文档(译版)
https://www.w3cschool.cn/solr_doc/solr_doc-t3642fkr.html
要想搭建Solr Server拢共分3步:
步骤1:部署Solr 7.7.1
步骤1-1:下载安装JDK和Solr Server端
下载安装JDK 8:JDK的安装在这就不说了,网上有很多资料。\
Java SE Development Kit 8 下载
下载Solr 7.7.1压缩包:请注意Linux下载solr-7.7.1.tgz,Windows下载solr-7.7.1.zip\
http://archive.apache.org/dist/lucene/solr/
步骤1-2:解压Solr-7.7.1压缩包
Windows下解压压缩包到对应的目录,我的路径是:
C:\myworking\solr-7.7.1
Linux下使用 tar 命令解压Solr压缩包:
tar zxvf solr-7.7.1.tgz -C /myworking
步骤1-3:进入bin目录运行Solr
Windows与Linux操作solr的命令都是一样的,但都需要进入到Solr的bin
目录下,我的目录是C:\myworking\solr-7.7.1\bin
。linux的目录使用cd
命令进入即可。
进入的到
bin
目录下执行 启动 命令:
./solr start
启动完成后的控制台截图:
图2 控制台Solr启动完成图
随后我们访问
http://localhost:8983
即能看到Solr Server端的Web
页面了
图3 Solr Server端 Web首页
步骤1-4:创建Core
Solr Core
的创建有两种方式,第一种是通过命令行的方式,第二种是在Solr Web
首页中创建。
个人比较推荐第一种,原因有二,一是方便快捷在命令行一句话搞定,
Ctrl+c Ctrl+v
齐活儿,不用在页面上点来点去还得敲文字,二是所在公司大牛在实践过后说是如果采用的第二种方式创建出的Core
会有一些问题。本着听人话,吃饱饭的态度就采用第一种吧~ ~*大家可以实践一下然后分享给我哦。*当然两种方式还是要介绍下的。
使用命令行创建
Core
我们只需要进入到上述的bin
目录,复制以下命令即可创建Core
,命令中的TestCore
为名称可以自行替换:
./solr create -c TestCore -d _default
使用
Web
端创建Core
上述图3中左侧的列表第3个Core Admin
菜单项,点开后就明白怎么做了。
在
Web
端查看TestCore
图4 选择TestCore
图5 TestCore详情图
步骤2:配置IK-Analyzer中文分词
介绍性的内容还是不罗列了,大家自己百度吧。Ik-Analyzer分词据说是国内最好用的中文分词,大部分人都用这个。目前Solr-7.7.1也自带了一个中文分词,具体的对比我没做过,等装完IK后大家回来可以进行下对比。同时欢迎分享给我哦。
IK分词GitHub:
https://github.com/magese/ik-analyzer-solr7
动态词库自动加载:
https://github.com/liang68/ik-analyzer-solr6
http://www.cnblogs.com/liang1101/articles/6395016.html
PS:关于动态词库自动加载,这个大家看一下下面这段引用描述后视项目情况选择要不要去研究下。
如果只是在我们原有的业务系统中简单集成Solr,那暂时没必要去了解动态词库自动加载。如果像商城等业务系统中,对于搜索模块是业务系统的核心之一,那么简单使用IK可能无法达到线上使用的要求。在IK分词器中默认是一次启动将主词库、停用词以及扩展词库全部加载完毕,后续如果再想要增加额外的扩展词,就必须得修改对应的扩展词表重新打包上传并重启服务方能生效,这种方式不适合应用与线上服务。那么到底如何实现这种无缝扩充词库呢?大家可以看看上面的博客。
步骤2-1:配置IK-analyzer jar包和词库
首先需要大家下载jar包和源码,我们下面需要放到Solr Server端对应的目录下。
IK分词jar包:
https://search.maven.org/remotecontent?filepath=com/github/magese/ik-analyzer/7.7.1/ik-analyzer-7.7.1.jar
IK分词GitHub源码:
https://github.com/magese/ik-analyzer-solr7
将下载好的
ik-analyzer-7.7.1.jar
包放入Solr服务的webapp\WEB-INF\lib
目录下,我的目录全路径是:
C:\myworking\solr-7.7.1\server\solr-webapp\webapp\WEB-INF\lib
将下载好的
ik-analyzer-solr7-master
源码下的src\main\resources
目录中的文件***(如下)***,放入到webapp\WEB-INF\classes
目录下:
① IKAnalyzer.cfg.xml 扩展配置文件
② ext.dic 扩展词库
③ stopword.dic 停止词库
④ ik.conf 动态词库配置文件
⑤ dynamicdic.txt 动态词库
我的目录全路径是:
C:\myworking\solr-7.7.1\server\solr-webapp\webapp\WEB-INF\classses
关于词库中同义词库、扩展词库、停止词库的介绍,可以看下面的blog:
https://blog.csdn.net/zcl_love_wx/article/details/52092894
步骤2-2. 配置TestCore
的server\solr\TestCore\conf\managed-schema
,添加IK分词器,示例如下:
*PS:放在标签下。*同时在该标签下我们还需要配置field,请看步骤3。
步骤3:配置field
Solr filed域的配置极为重要,filed的配置会影响到索引的创建和查询出的结果展示。
name:查询时的名称
type:这个是之前定义的FieldType的名称,在这使用的ik分词
indexed:是否索引(true/false)
stored:是否存储(是否将索引结果存储到索引库)
multivalued:是否多值(一般配合copyField使用)
动态filed
在定义
filed
时,可能会随着业务主线作出变更,那么每次在managed-schema
更改filed
后,还需重启Solr也是个麻烦事儿。那么在生产环境如此操作可能显得不是那么理想了。那么可以在变更时使用类似通配符的方式建立动态filed
,比如name="title"
可以写成name="fl_*"
,这样只要以fl_
开头的索引都可以被建立。
步骤4:重启Solr服务,测试ik分词
这里请注意Analyse Fieldname / FieldType:
右边的下拉列表,需要去选中ik分词text_ik
。我们可以看到输入中华人民共和国
关键字后所出现的分词效果。
图6 分词效果图
至此我们的Solr Server端基础版就搭建完成了,下面开始使用Spring boot结合SolrJ进行全文检索微服务的搭建。
三、Spring boot 微服务实现
Spring boot的基础知识不讲解了,下面我们采用Spring boot 2.1.3结合SolrJ 7.7.1完成全文检索微服务的实现。
下载源码
https://github.com/JasonGofen/SolrProject
步骤1:在本地准备将要建立索引的文件
准备两个doc文档,写入一些自定内容,放到指定目录下,当然也不一定非得要doc。以下是我准备的两个文件:
C:\solrfile\data\鹅鹅鹅.pdf
C:\solrfile\data\静夜思.docx
步骤2:搭建Spring boot项目
创建项目,在
pom.xml
引入SolrJ
的Maven依赖
org.apache.solrsolr-solrj7.7.1org.apache.tikatika-core1.9
目录结构
├── src
│ └── main
│ ├── java
│ │ └── com.jasongofen
│ │ ├── client
│ │ │ └── SolrClient.java // Solr客户端
│ │ ├── config
│ │ │ ├── CorsConfig.java // 跨域配置文件
│ │ │ └── SolrConfigProperties.java // yml属性实例化配置文件
│ │ ├── test
│ │ │ └── SolrCURDTest.java // Solr API调用测试示例
│ │ ├── util
│ │ │ ├── ConvertUtil.java // 自定义转换工具类
│ │ │ └── TikaUtil.java // 提取文档内容工具类
│ │ └── SolrProjectApplication.java // Spring boot启动类
│ └── resources
│ ├── application.yml // 项目配置
│ ├── banner.txt // banner配置
│ └── logback-spring.xml // 日志配置
├── pom.xml // 依赖配置
└── README.md // 项目帮助文档
配置
application.yml
中solr
节点下的属性值***(必须)***
# solr配置
solr:
# Solr Server端地址
server: localhost:8983 # 设置你的Solr Server访问地址
# Solr Core名称
core: TestCore # 设置你的Solr Core名称
# 上面准备的文档的所在本地路径
dir: C:\solrfile\data\ # 设置你的需要建立索引的文件所在目录
步骤3:运行项目
下面就可以运行项目了,SolrJ API调用请看以下内容。
未完待续
SolrJ API调用说明
基础的API调用代码在项目目录src\main\java\com.jasongofen.test\SolrCURDTest.java
文件中,该java
是一个Controller
可以以http
请求的方式模拟其他业务系统调用过程。
添加、修改索引
添加索引时首先使用HttpSolrClient
与Solr Server
建立连接,随后解析需要建立索引的文件*(至于需要结合现有的业务系统是采用http ftp
等方式从各自的文件Server中获取,还是另外的方式,请结合当前项目业务需要作扩展即可)*,接着把解析出的文件数据放到对应的索引位置,在设置索引内容时id
字段是必须要设置的且全局唯一,最后提交索引并关闭SolrClient
。
修改索引时,如果id
在索引库中已存在,则执行更新操作。
@GetMapping("/Add")
public void solrAdd() throws Exception {
// 设置文件路径
List files = new ArrayList<>();
files.add("鹅鹅鹅.pdf");
files.add("静夜思.docx");
// 获取Solr客户端
HttpSolrClient solr = SolrClient.getClient(solrConfigProperties.getServer());
String prefix = "";
for (String fi : files) {
System.out.println(fi);
// 取后缀名
prefix = ConvertUtil.getFileSufix(fi);
if (prefix.equalsIgnoreCase("txt") ||
prefix.equalsIgnoreCase("docx") ||
prefix.equalsIgnoreCase("doc") ||
prefix.equalsIgnoreCase("pdf")) {
String[] fileInfo = fi.split("\\.");
String content = "";
// 获取文件流,取出文件内容
InputStream inputStream = new FileInputStream(solrConfigProperties.getDir() + fi);
if (prefix.equals("txt")) {
content = TikaUtil.txt2String(inputStream);
} else if (prefix.equals("docx") || prefix.equals("doc") || prefix.equals("pdf")) {
content = TikaUtil.doc2String(inputStream);
} else {
inputStream.close();
}
// 添加索引
SolrInputDocument solrDoc = new SolrInputDocument();
String formatDate = ConvertUtil.formatDate();
// 执行添加 ps:如果id相同,则执行更新操作
solrDoc.addField("id", UUID.randomUUID().toString().toUpperCase().replace("-", ""));
solrDoc.addField("title", fileInfo[0]);
solrDoc.addField("content", content);
solrDoc.addField("filetype", prefix);
solrDoc.addField("uploadtime", formatDate);
solr.add(solrConfigProperties.getCore(), solrDoc);
} else {
continue;
}
}
// 提交
solr.commit(solrConfigProperties.getCore());
solr.close();
}
查询
查询时因返回的是JSON串,并未做前端页面展示,请根据业务需求自行定制。
@GetMapping("/Query")
public SolrDocumentList solrQuery() throws Exception {
HttpSolrClient solrClient = SolrClient.getClient(solrConfigProperties.getServer());
// 定义查询条件
Map params = new HashMap();
params.put("q", "*:*");
SolrParams mapSolrParams = new MapSolrParams(params);
//执行查询 第一个参数是collection,就是我们在solr中创建的core
QueryResponse response = solrClient.query(solrConfigProperties.getCore(), mapSolrParams);
// 获取结果集
SolrDocumentList results = response.getResults();
for (SolrDocument result : results) {
// SolrDocument 数据结构为Map
System.out.println(result);
}
solrClient.close();
return results;
}
删除索引
需要删除索引时,根据id
去删除即可。
@GetMapping("/Delete")
public void solrDelete(@RequestParam("id") String id) throws Exception {
HttpSolrClient solrClient = SolrClient.getClient(solrConfigProperties.getServer());
// 通过id删除 执行要删除的collection(core)
solrClient.deleteById(solrConfigProperties.getCore(), id);
// 还可以通过查询条件删除
// solrClient.deleteByQuery(solrConfigProperties.getCore(), "查询条件");
// 提交删除
solrClient.commit(solrConfigProperties.getCore());
solrClient.close();
}
本文所用资源汇总:
本文已配置的 Solr7.7.1
https://pan.baidu.com/s/11s18oJVKpEVc-AmZO1xkgA本文源码
https://github.com/JasonGofen/SolrProjectSolr 官网
https://lucene.apache.org/solr/Solr API 官方文档
http://lucene.apache.org/solr/7_7_1/solr-solrj/index.htmlSolr 中文文档(译版)
https://www.w3cschool.cn/solr_doc/solr_doc-t3642fkr.htmlJDK 8
Java SE Development Kit 8 下载Solr 7.7.1 压缩包
http://archive.apache.org/dist/lucene/solr/IK 分词 jar 包
https://search.maven.org/remotecontent?filepath=com/github/magese/ik-analyzer/7.7.1/ik-analyzer-7.7.1.jarIK 分词 GitHub 源码
https://github.com/magese/ik-analyzer-solr7动态词库自动加载
https://github.com/liang68/ik-analyzer-solr6
http://www.cnblogs.com/liang1101/articles/6395016.html同义词典、扩展词典、停止词典介绍 Blog
https://blog.csdn.net/zcl_love_wx/article/details/52092894创建 Spring boot 项目的网址
https://start.spring.io/
-END-如果看到这里,说明你喜欢这篇文章,请转发、点赞。同时标星(置顶)本公众号可以第一时间接受到博文推送。推荐阅读1. 基友说:“自己整一个”2. HashMap为什么线程不安全?3. 一致性Hash在负载均衡中的应用4. 60个相见恨晚的神器工具
微服务集成cas_Spring Boot + Solr 全文检索微服务简易集成相关推荐
- 微服务集成cas_Spring Cloud Security集成CAS (单点登录)对微服务认证
一.前言 由于leader要求在搭好的spring cloud 框架中加入对微服务的认证包括单点登录认证,来确保系统的安全,所以研究了Spring Cloud Security这个组件.在前面搭好的d ...
- 微服务集成cas_Spring Cloud(四) Spring Cloud Security集成CAS (单点登录)对微服务认证...
一.前言 由于leader要求在搭好的spring cloud 框架中加入对微服务的认证包括单点登录认证,来确保系统的安全,所以研究了Spring Cloud Security这个组件.在前面搭好的d ...
- 《深入理解 Spring Cloud 与微服务构建》第十五章 微服务监控 Spring Boot Admin
<深入理解 Spring Cloud 与微服务构建>第十五章 微服务监控 Spring Boot Admin 文章目录 <深入理解 Spring Cloud 与微服务构建>第十 ...
- 【每周Java技术】2022.05.16 周一 ~ 2022.05.22 周日(Srping Boot | 二叉树 | Docker | 微服务/云原生)
文章目录 01. 05.16 周一 1.1)Spring Boot 1.1.1) Spring Boot的组成部分 1.1.2) 了解自动配置的实现原理 1.2)数组降序 02. 05.19 周四 1 ...
- .NET Core开发实战(第32课:集成事件:解决跨微服务的最终一致性)--学习笔记...
32 | 集成事件:解决跨微服务的最终一致性 首先看一下集成事件的工作原理 它的目的时为了实现系统的集成,它主要是用于系统里面多个微服务之间相互传递事件 集成事件的实现方式有两种,一种是图上显示的发布 ...
- java小马哥百度网盘_思否编程(小马哥):Java 微服务实践 - Spring Boot / Spring Cloud全套,完整版下载 - VIPC6资源网...
小马哥 Java 微服务实践 – Spring Boot 系列 pptx segmentfault-lessons-master 03Java 微服务实践 – Spring Boot 系列(三)Web ...
- 微服务之spring Boot+MyBatis-Plus +mysql框架
小白也会搭建spring Boot+MyBatis-Plus +mysql框架 一.新建一个微服务模块cloud-user 1. 搭建步骤 二.编码 1.新建UserController类 2.新建U ...
- Spring Boot+gRPC构建微服务并部署到Istio(详细教程)
点击关注公众号,实用技术文章及时了解 作为Service Mesh和云原生技术的忠实拥护者,我却一直没有开发过Service Mesh的应用.正好最近受够了Spring Cloud的"折磨& ...
- 基于spring boot的邮件微服务消息中间件设计与实现 毕业论文+系统功能图v1.0.vsdx+项目源码
下载地址:https://download.csdn.net/download/m0_63680064/36065411 项目介绍: 基于spring boot的邮件微服务消息中间件设计与实现 毕业论 ...
最新文章
- localStorage、sessionStorage、Cookie的区别及用法
- 自定义关机计算机,在win7系统中自定义设置关机壁纸教程介绍
- 人工智能听了很多遍,都应用在哪些领域了你知道吗?
- 【规范】流程图的标准画法
- 五年后的4.20地震
- JavaScript Swiper插件
- ubuntu安装ipfs
- mysql like in 数组_Web前端学习教程之常用的MySQL优化技巧
- 植物大战僵尸模式修改
- com.android.gallery3d文件夹,如何在Android Gallery3D(cooliris)中显示特定文件夹?
- 百度文库文档下载分析
- 通达OA2013完美平台补丁以及手机短信服务配置
- 【模式识别-北理工】04线性分类器
- phython入门开始
- 梅花雨日历控件英文版
- 计算机一级考试可以搜索吗,手动找回Windows7搜索功能
- 对区块链钱包的简单认识
- php网站开发期末大作业,网页设计期末大作业报告..doc
- QTextEdit 控件的妙用(以及与QPlainTextEdit的区别)
- 利用JNative调用MediaInfo.dll