elasticsearch 分页_[Springboot实战系列]整合ElasticSearch实现数据模糊搜索
前言
本文介绍了如何整合搜索引擎elasticsearch与springboot,对外提供数据查询接口。
业务介绍
我的个人网站需要对mysql数据库内存储的京东商品进行模糊查询(模仿淘宝商品搜索),所以选择了将数据导入elasticsearch随后使用他来进行关键词查询。前端只需发送用户搜索的关键词和分页参数(可选),即可返回商品数据(json格式)
开发环境
组件介绍:
- elasticsearch:搜索引擎,用于存储待搜索数据
- logstash:用于将mysql中的商品数据同步到搜索引擎中
- elasticsearch-head(可选):elasticsearch可视化工具
- kibana(可选):elasticsearch可视化工具
本文测试环境:
- springboot:1.5.16
- elasticsearch:2.3.5(springboot1.5仅支持2.x的es)
- logstash:6.5.4
开发步骤
使用Docker部署elasticsearch
- docker下一键启动es,可根据需要的版本号对语句做修改
sudo docker run -it --rm --name elasticsearch -d -p 9200:9200 -p 9300:9300 elasticsearch:2.3.5
注意到该命令:
- --rm参数:容器终止后销毁
- -d:后台进程
- -p 9200:9200 -p 9300:9300:开放了9200端口和9300端口
得到如图:
此时打开网页localhost:9200即可查看状态,显示类似为:
{"name" : "Ant-Man","cluster_name" : "elasticsearch","version" : {"number" : "2.3.5","build_hash" : "90f439ff60a3c0f497f91663701e64ccd01edbb4","build_timestamp" : "2016-07-27T10:36:52Z","build_snapshot" : false,"lucene_version" : "5.5.0"},"tagline" : "You Know, for Search"
}
注意:docker的es默认对0.0.0.0公网开放
下载并使用logstash并导入数据
本文中要导入的是pm_backend下的表pm_jd_item内的全部京东商品数据
详细步骤参考:
http://blog.codecp.org/2018/04/16/Elasticsearch%E4%B9%8B%E4%BD%BF%E7%94%A8Logstash%E5%AF%BC%E5%85%A5Mysql%E6%95%B0%E6%8D%AE/
最终编写的jdbc.conf为:
schedule => "* * * * *"
默认为每分钟同步一次
input {jdbc {jdbc_connection_string => "jdbc:mysql://localhost:3306/pm_backend"jdbc_user => "root"jdbc_password => "xxxxxxxxxx"jdbc_driver_library => "xxxxxxxx/mysql-connector-java-5.1.6.jar"jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "5000"statement=> "select * from pm_jd_item"schedule => "* * * * *"type => "pm_jd_item"}
}output {elasticsearch {hosts => "localhost:9200"index => "pm_backend"document_type => "%{type}"document_id => "%{id}"}stdout {codec => json_lines}
}
在logstash目录下执行命令,完成数据的导入:
bin/logstash -f jdbc.conf
得到如图:
同步完成后,使用elasticsearch-head查看(或者用kibana,请随意):
整合进springboot
- 添加pom.xml
<!-- 搜索引擎:elastic-search-->
<dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>2.4.6</version>
</dependency>
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
<dependency><groupId>org.springframework.data</groupId><artifactId>spring-data-elasticsearch</artifactId>
</dependency>
- 修改application.properties
# elasticsearch
spring.data.elasticsearch.cluster-name=elasticsearch
#节点地址,多个节点用逗号隔开
spring.data.elasticsearch.cluster-nodes=127.0.0.1:9300
#spring.data.elasticsearch.local=false
spring.data.elasticsearch.repositories.enable=true
- 在需要进行搜索的实体类上添加@Document、@Id、@Field等标注,本例为JdItem.java
@Document(indexName = "pm_backend", type = "pm_jd_item")
public class JdItem implements Serializable {@Idprivate Integer id;@Field(type = FieldType.Long)private Long itemId;@Field(type = FieldType.Long)private Long categoryId;@Field(type = FieldType.String)private String name;
- 添加JdItemRepository继承ElasticsearchRepository
public interface JdItemRepository extends ElasticsearchRepository<JdItem, Integer>{
}
- 编写JdItemController中的查询接口findJdItemByName
代码截取自个人项目京东价格监控,仅供参考!
/*** 根据商品名在pm_jd_item中搜索商品* @param itemName* @param startRow* @param pageSize* @return*/@ApiOperation(value="查询商品", notes="查询商品")@RequestMapping(value = "/findJdItemByName", method = {RequestMethod.GET})public ResponseData<List<JdItem>> findJdItemByName(@ApiParam("用户输入的商品名") @RequestParam(value = "itemName") String itemName,@ApiParam("页码索引(默认为0)") @RequestParam(value = "startRow", required = false, defaultValue = "0") int startRow,@ApiParam("每页的商品数量(默认为10)") @RequestParam(value = "pageSize", required = false, defaultValue = "10") int pageSize){ResponseData<List<JdItem>> responseData = new ResponseData<>();try {FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery().add(QueryBuilders.matchPhraseQuery("name", itemName), ScoreFunctionBuilders.weightFactorFunction(100)).scoreMode("sum").setMinScore(10);Pageable pageable = new PageRequest(startRow, pageSize);SearchQuery searchQuery = new NativeSearchQueryBuilder().withPageable(pageable).withQuery(functionScoreQueryBuilder).build();Page<JdItem> jdItems = jdItemRepository.search(searchQuery);// Page分页getTotalPages()返回了应有的页数,临时放在errorMsg传给前端responseData.jsonFill(1, String.valueOf(jdItems.getTotalPages()), jdItems.getContent());} catch (Exception e) {e.printStackTrace();responseData.jsonFill(2, e.getMessage(), null);}return responseData;}
}
- 运行springboot
调用findJdItemByName接口,得到:
整合分词器功能
请参考:https://github.com/medcl/elasticsearch-analysis-ik
参考
Docker安装ES & Kibana:
https://www.jianshu.com/p/fdfead5acc23
Elasticsearch之使用Logstash导入Mysql数据:
http://blog.codecp.org/2018/04/16/Elasticsearch%E4%B9%8B%E4%BD%BF%E7%94%A8Logstash%E5%AF%BC%E5%85%A5Mysql%E6%95%B0%E6%8D%AE/
关注我
我是蛮三刀把刀,后端开发。主要关注后端开发,数据安全,爬虫等方向。
来微信和我聊聊:yangzd1102
Github个人主页:
https://github.com/qqxx6661
原创博客主要内容
- Java知识点复习全手册
- Leetcode算法题解析
- 剑指offer算法题解析
- Python爬虫相关技术实战
- 后端开发相关技术实战
- SpringCloud实战
个人公众号:Rude3Knife
如果文章对你有帮助,不妨收藏起来并转发给您的朋友们~
elasticsearch 分页_[Springboot实战系列]整合ElasticSearch实现数据模糊搜索相关推荐
- java search 不能使用方法_ElasticSearch实战系列三: ElasticSearch的JAVA API使用教程
前言 在上一篇中介绍了ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解,本篇文章就来讲解下 ElasticSearch 6.x官方Java API的 ...
- ElasticSearch实战系列十一: ElasticSearch错误问题解决方案
前言 本文主要介绍ElasticSearch在使用过程中出现的各种问题解决思路和办法. ElasticSearch环境安装问题 1,max virtual memory areas vm.max_ma ...
- ElasticSearch实战系列五: ElasticSearch的聚合查询基础使用教程之度量(Metric)聚合
Title:ElasticSearch实战系列四: ElasticSearch的聚合查询基础使用教程之度量(Metric)聚合 前言 在上上一篇中介绍了ElasticSearch实战系列三: Elas ...
- SpringBoot 实战 (九) | 整合 Mybatis
微信公众号:一个优秀的废人 如有问题或建议,请后台留言,我会尽力解决你的问题. 前言 如题,今天介绍 SpringBoot 与 Mybatis 的整合以及 Mybatis 的使用,本文通过注解的形式实 ...
- SpringBoot实战之整合WebSocket之群聊
SpringBoot实战之整合WebSocket 文章目录 SpringBoot实战之整合WebSocket 前言 一.WebSocket简介 二.WebSocket原理 三.WebSocket特点 ...
- 完整教程:Springboot 2.2整合elasticsearch 7.x (spring-boot-starter-data-elasticsearch)
请注意,SpringBoot是2.2.0.RELEASE才兼容elasticsearch 7.x 废话不多说,直接上代码. 1.pom <?xml version="1.0" ...
- SpringBoot实战系列——数据访问=(Mybatis+Redis)
前言 在开发中我们通常会对数据库的数据进行操作,SpringBoot对关系性和非关系型数据库的访问操作都提供了非常好的整合支持.SpringData是spring提供的一个用于简化数据库访问.支持云服 ...
- springboot redis 刷新时间_「SpringBoot实战」SpringCache + Redis实现数据缓存
关注我的微信公众号:后端技术漫谈 不定期推送关于后端开发.爬虫.算法题.数据结构方面的原创技术文章,以及生活中的逸闻趣事. 我目前是一名后端开发工程师.主要关注后端开发,数据安全,网络爬虫,物联网,边 ...
- SpringBoot实战:整合Redis、mybatis,封装RedisUtils工具类等(附源码)
创建SpringBoot项目 在线创建方式 网址:https://start.spring.io/ 然后创建Controller.Mapper.Service包 SpringBoot整合Redis 引 ...
最新文章
- 【星辰傀儡线·命运环·卷二 尘埃】 3 誓言
- TextView的跑马灯效果实现
- Linux文件系统及磁盘分区与格式化(二次排版)
- vue-cli新建的项目webpack设置涉及的大部分插件整理
- olive videoeditor开源跨平台视频编辑器
- 【转】WCF Odata 开放数据协议应用
- Coolite动态加载CheckboxGroup,无法在后台中获取
- redux-saga基本用法
- 华为机试HJ83:二维数组操作
- 数据挖掘概念与技术(第三版)课后答案——第三章
- 面对面的办公室【冯·诺伊曼与艾伦•图灵】——纪念艾伦•图灵百年诞辰 1912.6.23-2012.6.23...
- 2017物联网蓬勃发展,看各领域巨头如何抢先机占山头
- houdini节点大全中文手册_【技术贴】武林秘籍在此!大咖座谈虚幻引擎制作影视动画经验!...
- 算法介绍 | 泛洪算法(Flood fill Algorithm)
- 解决:Conda报错InvalidArchiveError
- ArrayList中元素的删除操作
- 【微前端】591- 微前端在小米 CRM 系统的实践
- 用例测试(三)——边界值分析法
- 火影忍者服务器最近不稳定吗,火影忍者手游:新区一个月后变死区,魔方合区的标准有点迷!...
- Inventor SDK入门---用API创建具有旋转和拉伸特征的零件
热门文章
- 容器与微服务从技术到艺术 你需要这场论坛
- 为了方便读者检索和阅读以往的内容,已开通“号内搜”功能
- matlab mlpkginstall,Matlab选择mingw编译器
- YOLOv5导出jit,onnx,engine
- open3d 0.13版本 vs2019编译
- Pandas读取csv时 设置列名
- 堆和栈组合:双端队列c++
- 史上最强轻量级人脸检测,全面超越retinaface
- tx2 numba opencv
- Python中的map()函数和reduce()函数的用法