基于Elasticsearch的搜索优化
高吞吐量查询优化
因业务扩展，es 内数据不断增多，查询压力也不断增大，直至已经严重影响用户体验，故需进行彻底整改。
在整改过程中，经过不断尝试，关于 ES 查询方面总结为以下几点：
升级ES
随着用户量的增加，必不可少的采取了加机器、换SSD等措施，同时升级es，ES6.0性能较之前会有大幅提升。
自定义分词器
因业务原因，例如“美的”这类特殊词汇的监测等等，改造了分词器，变成了单字分词。
但单字分词，有利有弊，随着业务增加，弊端不断暴露，如一个 “的” 字对应的文档数量几乎等同于所有的文档数量，导致查询速度急速下降。
采用bigrams
n-grams 方式，将含有m个字符的一句话拆分成m-1个n字符词汇，依次查询并组合结果集，这种查询会使查询效率在一定程度上有所提高，毕竟减少了每个词所需检索的文档数。
这种方式的弊端：不能适应单字查询与距离查询，须通过业务逻辑来满足业务需求。
巧用filter过滤
es 的过滤器有缓存的功能，且会优先进行过滤器里面的查询条件，综合自己的业务场景，提炼出一些能够大大减少文档数且相对固定的过滤词，能够大大提升查询效率，相对固定是为了能够复用缓存数据。如有必要，可推动改进业务需求来满足这一点。
查询语句优化
对于多个词的搜索，在使用多个单词query_string、should连接，单个多词query_string，match_phrase的方式都可以的情况下，这几种方式性能优劣是怎样的呢？
下面是具体场景的测试用例：
query_string (0)
（多个主体词空格分隔）
query_string (1)
（单个主体词）
match (2)
（单个主体词）
非bigram方式(0) bigram方式 (1) 非bigram方式(0) bigram方式 (1) 非bigram方式(0) bigram方式 (1) 用例编号 是否过滤 命中量 用时ms 命中量 用时ms 命中量 用时ms 命中量 用时ms 命中量 用时ms 命中量 用时ms 1 不加过滤(0) 11977 4046 11977 4046 11977 4046 11977 4046 11977 4046 11977 4046 主体过滤(1) 11161 4063 2624 2559 3520 5300 2475 2233 2472 2886 2472 3352 关键词过滤(3) 11997 6299 11997 5179 11997 5010 11997 4081 11997 4094 11997 3700 2 不加过滤 732 11532 732 11532 732 11532 732 11532 732 11532 732 11532 主体过滤 730 11855 726 3570 729 13105 726 3525 726 6557 726 9565 关键词过滤 733 37096 733 15603 733 15919 733 8616 733 18386 733 8773 3 不加过滤 24697 546 24697 546 24697 546 24697 546 24697 546 24697 546 主体过滤 24697 109 24695 118 24697 383 24695 72 24695 220 24695 180 关键词过滤 24695 309 24695 96 24695 120 24695 82 24695 82 24695 90 4 不加过滤 455 28437 455 28437 455 28437 455 28437 455 28437 455 28437 主体过滤 453 29294 451 8166 452 29958 451 8237 451 11586 451 14432 关键词过滤 456 59674 456 33758 456 33569 456 20128 456 30771 456 20193 5 不加过滤 1540 3412 1540 3412 1540 3412 1540 3412 1540 3412 1540 3412 主体过滤 1540 3487 1542 2764 1540 4962 1542 2613 1542 3341 1542 3515 关键词过滤 1542 7650 1542 3971 1542 6345 1542 3428 1542 3600 1542 3409 6 不加过滤 9724 22541 9724 22541 9724 22541 9724 22541 9724 22541 9724 22541 主体过滤 9724 22809 9742 22356 9724 26506 9742 22276 9742 23226 9742 25104 关键词过滤 9742 31445 9742 26589 9742 26867 9742 26092 9742 23635 9742 24348
1 家乐福 家乐福 <家乐福 食品安全>~15|<家乐福 企业社会责任>~15|<家乐福 O2O>~15|<家乐福 电商>~15|<家乐福 行业态势>~15|<家乐福 生鲜>~15|<家乐福 可持续发展>~15|<家乐福 新零售>~15|<沃尔玛 食品安全>~10|<沃尔玛 企业社会责任>~10|<沃尔玛 O2O>~10|<沃尔玛 电商>~10|<沃尔玛 行业态势>~10|<沃尔玛 生鲜>~10|<沃尔玛 可持续发展>~10|<沃尔玛 新零售>~10|<永辉超市 食品安全>~15|<永辉超市 企业社会责任>~15|<永辉超市 O2O>~15|<永辉超市 电商>~15|<永辉超市 行业态势>~15|<永辉超市 生鲜>~15|<永辉超市 可持续发展>~15|<永辉超市 新零售>~15|盒马生鲜|<盒马生鲜 新零售>~15 2 东升产品信息 东升,博展 东升大厦|智造大街绿能基地|绿色能源产业基地|东升凯莱酒店|林萃路商务酒店|清河商务酒店|清河桥商务酒店|学清路商务酒店|La Vie商业广场|66号成长屋|东升加速器|东升孵化器|东升杯创业大赛|东升博展物业|博展投资|东升知春物业|东升博展酒店|悦华庭酒店|东升博展科技|东升科技企业加速器|东昇合创科技孵化器|三符整合营销机构|((东升科技园|东升集团|东升博展)&(一卡通|ville商业街|梦想家园|伊布里克咖啡|果士芙|钰花溪|北领地|赛百味|没名儿生煎|咖啡陪你|吃茶去|张亮麻辣烫|7-11|奥力健身房|汉堡王|吉野家|明洞邦|面爱面|海南鸡饭|居酒屋|乐刻健身|星巴克咖啡|鲍师傅|DQ))|(东升科技园|东升博展|博展集团)&(投融资|小额贷|直投|基金|信用评估)|((王小东|陈斌|李宝林|徐振辉|卢金玲|颜海军|刘亚洁|续卫国|刘新强|符志刚|卢维维|代庆|党玉林|郭小庆|余熊杰|张奕)&(博展|东升博展)) 3 礼品 礼品 礼品 4 东升产品信息+排除 东升,博展 东升大厦|智造大街绿能基地|绿色能源产业基地|东升凯莱酒店|林萃路商务酒店|清河商务酒店|清河桥商务酒店|学清路商务酒店|La Vie商业广场|66号成长屋|东升加速器|东升孵化器|东升杯创业大赛|东升博展物业|博展投资|东升知春物业|东升博展酒店|悦华庭酒店|东升博展科技|东升科技企业加速器|东昇合创科技孵化器|三符整合营销机构|((东升科技园|东升集团|东升博展)&(一卡通|ville商业街|梦想家园|伊布里克咖啡|果士芙|钰花溪|北领地|赛百味|没名儿生煎|咖啡陪你|吃茶去|张亮麻辣烫|7-11|奥力健身房|汉堡王|吉野家|明洞邦|面爱面|海南鸡饭|居酒屋|乐刻健身|星巴克咖啡|鲍师傅|DQ))|(东升科技园|东升博展|博展集团)&(投融资|小额贷|直投|基金|信用评估)|((王小东|陈斌|李宝林|徐振辉|卢金玲|颜海军|刘亚洁|续卫国|刘新强|符志刚|卢维维|代庆|党玉林|郭小庆|余熊杰|张奕)&(博展|东升博展)) 大城县东升大厦西侧,清代,第一代,招聘,出租,招租,www.454726.net,求租,请选择网点,吃过8家以上才算真吃货,以下是海口在,1室1厅,附近有苏果超市和欧尚超市有环宇城,呷哺呷哺,长兴欧洲花园,两间门面,霍兰公寓,中梁集团,2房2厅,到珍珠园饭店怎么走,嘉兴万家汇,请选择网点,上海收人头马路易十三洋酒礼盒路易十三洋酒回收价格上门回收,公交沧海路百丈东路口站往北移200米,金隅国际到欧尚超市来广营店怎么走,汇金国际广场-欢迎您实地考察,公交站点集合出发,二手房,房屋类型,周边配套设施,小区建筑面积,无中介费,拎包入住,区周边配套,租房合同,蜀汉路欧尚超市后面,房屋精装修,骑行溧水石湫农家乐,房屋户型,学府具体位置,四室二厅,一室一厅,二室一厅,二室二厅,三室一厅,三室二厅,怎么坐公交车,张国银老师卓越团队管理专家曾任,1室1厅,2室1厅,3室1厅,2室2厅,3室2厅,4室2厅,吴江-国贸商业中心,吴江国贸中心,吴江国贸商业中心,国贸商业中心销售热线,不收中介费,杨公井捷安特活动,小区规划,小区配套,租金可谈,两室一厅,两室两厅,两室二厅,租房子,转租,无中介,押一付三,押一付一,押二付二,押一付二,押二付一,月付,自家宝宝穿的,楼盘,年产权,看房时间,看房人数,合租,20号、21号海阳连理岛赏胶东半岛最美油菜花,售楼处,欧尚超市门口乘,天行健健身,看房热线,现房,房屋信息,一室两厅,一室二厅,48路、209路、847路75路、36路,欧尚超市正对面,欧尚超市斜对面,公益徒步大会活动,家养小猫还剩,原本夜逛嘉兴月河计划泡汤,镇江酷跃蹦床主题公园VIP体验卡,中吴大道兰陵路三院欧尚超市东,改善型品质住宅,生态居住环境,三室两厅,四室两厅,二室两厅 5 高鑫零售 高鑫,大润发 <(高鑫零售|高鑫超市) (食品安全|企业社会责任|"OTO"|电商|行业态势|生鲜|可持续发展)>~20|<大润发 食品安全>~20|<大润发 企业社会责任>~20|<大润发 "OTO">~20|<大润发 电商>~20|<大润发 行业态势>~20|<大润发 生鲜>~20|<大润发 可持续发展>~20 6 北京医改 北京,医改 <北京 医事服务费|医药分开|挂号费|公立医院改革|公立医院的综合改革|医院综合改革|医疗服务价格|阳光采购|医药分开|医药集中采购|医药集中招标|药品集中采购|药品集中招标|药物采购|医疗改革|医改新政|分机诊疗|医药分开综合改革|医改新政|以药补医|以药养医|零差率销售|医改|医院综合改革|医药卫生体制|药品加成|医疗服务价格|药品零差率|社会办医>~30 结论：
针对测试结果，单词query_string方式 + bigrams + 主体过滤效果最好
（注：此处的bigrams只针对过滤词，不针对话题语法）
延伸测试：
最优方式 + 话题关键词bigram：
在此基础上，对于非距离话题的话题语法部分 使用bigrams方式 进行进一步测试，结果如下：
话题2 命中量：726 用时：717 （原测试最优结果 命中量：726 用时：3525 ）
话题3 命中量：24695 用时：74 （原测试最优结果 命中量：24695 用时：72 ）
话题4 命中量：451 用时：1951 （原测试最优结果 命中量：451 用时：8237）
效果较好
按时间建立索引
对于这些业务场景的查询，一般都会有时间的范围限制，可以针对具体的业务场景做一些变更，例如本案例中的业务场景多数会查看使用近一天、近三天的数据，一个是可以采用es新版本提供的关于近几天时间的过滤查询，另一种就是在es集群创建索引的规则上做一些处理。
关于时间索引，可以按天创建索引，也可以按月创建索引，根据业务需要做不同选择，那么问题来了，随着时间的推移，索引数量会越来越多，对es的性能也会有影响。这时候我们会发现，对于历史悠久的数据不会经常被使用，这部分数据称之为冷数据，这些数据就可以集中放在一个索引中，有使用需求时直接去这个里面查询即可，随之而来的工作量就是数据迁移以及数据清理工作，对于根本不会使用的数据要及时清理。
以上就是对于查询部分的优化探索之路，仅查询部分速率提升了20%。
不过此次整改不仅针对es查询做了优化，还使用了业务缓存，整体性能提升显著，百万级别的数据搜索达到秒级别，虽解决了问题，但是es的优化还在不断进行中，欢迎指教~
基于Elasticsearch的搜索优化相关推荐
- 基于Elasticsearch实现搜索推荐
在基于Elasticsearch实现搜索建议一文中我们曾经介绍过如何基于Elasticsearch来实现搜索建议,而本文是在此基于上进一步优化搜索体验,在当搜索无结果或结果过少时提供推荐搜索词给用户. ...
- ElasticSearch学习29_基于Elasticsearch实现搜索推荐
2019独角兽企业重金招聘Python工程师标准>>> 在基于Elasticsearch实现搜索建议一文中我们曾经介绍过如何基于Elasticsearch来实现搜索建议,而本文是在此 ...
- 基于Elasticsearch实现搜索建议
搜索建议是搜索的一个重要组成部分,一个搜索建议的实现通常需要考虑建议词的来源.匹配.排序.聚合.关联的文档数和拼写纠错等,本文介绍一个基于Elasticsearch实现的搜索建议. 问题描述 电商网站 ...
- 美团外卖搜索基于Elasticsearch的优化实践
美团外卖搜索工程团队在Elasticsearch的优化实践中,基于Location-Based Service(LBS)业务场景对Elasticsearch的查询性能进行优化.该优化基于Run-Len ...
- 基于Java、Kafka、ElasticSearch的搜索框架的设计与实现
Jkes是一个基于Java.Kafka.ElasticSearch的搜索框架.Jkes提供了注解驱动的JPA风格的对象/文档映射,使用rest api用于文档搜索. 项目主页:https://gith ...
- 南华大学计算机学院吴取劲,一种基于图深度优先搜索的基本路径集自动生成优化算法-南华大学学报.PDF...
26 3 ( ) Vol. 26 No. 3 第 卷第 期 南华大学学报 自然科学版 2012 9 Journal of University of South China (Science and ...
- 基于回溯搜索优化算法的WSN覆盖优化
文章目录 一.理论基础 1.回溯搜索优化算法 (1)种群初始化 (2)选择Ⅰ (3)变异 (4)交叉 (5)选择Ⅱ 2.BSA算法伪代码 二.仿真实验与结果分析 三.参考文献 一.理论基础 1.回溯搜 ...
- Elasticsearch 基于地理位置的搜索查询
ES为用户提供了基于地理位置的搜索功能.它主要支持两种类型的地理查询:一种是地理点(geo_point),即经纬度查询,另一种是地理形状查询(geo_shape),即支持点,线,圆形和多边形等查询. ...
- #研发解决方案介绍#基于ES的搜索+筛选+排序解决方案
郑昀 基于胡耀华和王超的设计文档 最后更新于2014/12/3 关键词:ElasticSearch.Lucene.solr.搜索.facet.高可用.可伸缩.mongodb.SearchHub.商品中 ...
最新文章
- TCP/IP详解--第十六章
- RabbitMQ从安装到使用
- Flink State 误用之痛，你中招了吗？
- AWS Lambda将数据保存在DynamoDB中
- 深度学习(莫烦 神经网络 lecture 3） Keras
- Python递归通用接口响应深层提取
- 普通域用户设置共享文件夹
- 培养创造力的10个注意点
- 芯片短缺并未缓解，机构数据显示交付周期在7月份已超过20周
- Shell 脚本来监控 Linux 系统的内存
- WinForm自适应的相关代码
- 【python】10行代码下载B站弹幕
- oracle minus连接条件,oracle及sqlserve中MINUS 的使用方法
- ASCII、Unicode、UTF-8 和 Base64 等编码
- android 状态栏高度多少像素,Android之获取屏幕的尺寸像素及获取状态栏标题栏高度...
- 服务器计算技术解决远程接入速度困扰
- 给定平面上的n个点，求最多有多少个点共线
- 计算机信息量单位kbit,网络的带宽和速率
- 【常识】流程图绘制教程
- [转载From少数派] 码字必备：18 款优秀的 Markdown 写作工具 | 2015 年度盘点