elasticsearch使用优化备忘

2024-04-21 18:34:07

文章目录

官方优化建议
业务中
- 高写入压力
- 高查询压力
- 提升集群稳定性方面
- 日志集群设置优化

做过哪些优化

官方优化建议

1.jvm使用合适的jvm
2.增大可以打开的文件数
3.增大可以开启的线程数
4.增大mmap使用的限制vma
5.减少swap,可以开启memory lock,或者禁用swap
6.master expecial

业务中

高写入压力

bulk操作
增大index-buffer
调整write线程池，效果不大
全量更新的时候设置replica=0,更新完成后再打开
使用高性能的本地ssd

下面做法牺牲部分一致性和实时性
refresh_interval 加大
translate log设置为异步

还有一个提高写入的方式是使用多线程写入，这种首先保证写入压力不再es侧

高查询压力

提高副本数number_of_replicas
减小分片大小，提升number_of_shards
让更多的数据能够保留在内存中，设置更大的内存
使用更高性能的磁盘

提升集群稳定性方面

使用alias来进行全量index的无缝替换
max_result_window 设置翻页深度，前端改造
set slow_log进行监控
add coordinator node 并使用g1
add node的时候关闭auto_rebalance,手动均衡
node_left.delayed_timeout 加大，设置为4h
避免version_confilict
无关的字段设置index-option减少存储
监控

日志集群设置优化

主要是增强写入能力
best_commpression
index-sort
update refresh_interval greater
logstash 设置assign-strategy
冷热数据分离，减小存储成本
无关的字段设置index-option
translog 设置为asyn
dynamic_templates 动态模板

elasticsearch使用优化备忘相关推荐

Vista系统安装优化备忘
我们的Vista装机手册 (thinkpad) 装vista (切记一定要在BIOS里面把ATA的设置改为AHCI后再装, 否则讯盘安装会有问题) disable UAC relocate my do ...
Win10:系统重装、优化、必备软件——备忘笔记
Win10:系统重装.优化.必备软件--备忘笔记重装系统无U盘--电脑能正常开机 U盘PE--电脑无法开机 Win10优化必装软件重装系统推荐镜像下载地址:MSDN:www.xitongku ...
aws 认证_AWS ML专业认证备忘单
aws 认证 the highly important and carefully crafted piece, * this will only be useful after completing ...
机器学习项目的备忘清单！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:Harshit Tyagi,编译:机器之心机器学习项目中含有众多 ...
机器学习性能改善备忘单
原文地址:Machine Learning Performance Improvement Cheat Sheet 原文翻译与校对:@姜范波 && 寒小阳时间:2016年12月. ...
azure_Azure ML算法备忘单
azure 云计算 , 机器学习 (Cloud Computing, Machine Learning) A common question often asked in Data Science i ...
python熊猫图案_熊猫备忘单–适用于数据科学的Python
python熊猫图案 Pandas is arguably the most important Python package for data science. Not only does it g ...
HTML5隐藏图片代码,HTML5终极备忘大全（图片版+文字版）
一.前言兼图片备忘下图是我从testking网站上的Ultimate HTML5 Cheatsheat这篇文章中备忘图片(已大小优化,因为图片较高,故滚动显示). 但是,上面毕竟是图片格式(原图上兆 ...
HTML5终极备忘大全（图片版+文字版）
评论:不久的将来html5必将统一前端标记性网页编程语言,这些新标签和新属性以后还要多记多用!仅在此处收藏之! 一.前言兼图片备忘下图是我从testking网站上的Ultimate HTML5 Ch ...

最新文章

热门文章