日志系统的写入优化

1. 日志集群优化的基本原则

对于日志收集系统来说，就是使用尽可能少的资源来存储尽可能多的日志，所以需要结合日志集群的特点进行优化。这些优化一般可以分为两个方面，一个方面是提升服务器配置，给更多的资源，比如加机器，上ssd等这种，这种优化会提升集群的写入效率，但是不会有其他的损失，甚至其他方面也会有提升；还有一方面的优化则是带有trade-off的，也就是牺牲一些其他方面的性能来提升写入的效率（比如降低search的资源）。

2. 服务器配置优化

服务器的配置优化和搭建用于online搜索的集群类似

提升集群的节点数量
使用专用的master
给每个节点更多的内存和更多的cpu核数
节点要开启memory-lock
jvm配置优化
使用ssd磁盘（这个实际上是可以对于高index专用的优化）

3.带有trade-off的配置优化

1.索引的配置优化（要配置到index-teplate中，因为索引按天生成）

索引的shard数量合理设置，保证每个shard数据量大概为20-50g,可以减小对内存的使用,副本数最多设置为1即可
索引的refresh设置更大，来降低refresh的开销，要配置到index-teplate中（因为索引按天生成）
1. ```
"index.refresh_interval":"30s"
```
translog设置，减小translog对性能的消耗，这种在节点挂掉的时候有可能会发生丢数据的情况
1. ```
 "translog": {"flush_threshold_size": "1024mb","sync_interval": "600s","durability": "async"}
```

2.节点配置优化

对于日志集群，一般是写多读少，所以可以分配更多的内存来做index buffer

indices.memory.index_buffer_size: 30%

ELK日志系统的写入优化相关推荐

创业公司如何做数据分析（四）ELK日志系统
作为系列文章的第四篇,本文将重点探讨数据采集层中的ELK日志系统.日志,指的是后台服务中产生的log信息,通常会输入到不同的文件中,比如Django服务下,一般会有nginx日志和uWSGI日志.这些 ...
创业公司做数据分析（四）ELK日志系统
作为系列文章的第四篇,本文将重点探讨数据采集层中的ELK日志系统.日志,指的是后台服务中产生的log信息,通常会输入到不同的文件中,比如Django服务下,一般会有nginx日志和uWSGI日志. ...
日志审计系统及ELK日志系统
日志审计系统 1.日志审计 1.1 背景 1.2 原理核心目标 1.3 功能日志采集关联分析实时警告日志取证分析监管合规 1.4 日志审计系统常见模块 2.ELK 日志系统介绍 2.1 背 ...
ELK日志系统之使用Rsyslog快速方便的收集Nginx日志
常规的日志收集方案中Client端都需要额外安装一个Agent来收集日志,例如logstash.filebeat等,额外的程序也就意味着环境的复杂,资源的占用,有没有一种方式是不需要额外安装程序就能实 ...
ES冷热分离架构设计：一招让你的ELK日志系统节省 50% 的硬盘成本
文章目录引言 1.冷热数据分离思想 2.数据层:Data tiers 2.1 内容层:Content Tier 2.2 热数据层:Hot Tier 2.3 温数据层:Warm Tier 2.4 冷数 ...
第二十三周微职位elk日志系统
利用ELK+redis搭建一套nginx日志分析平台. logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请 ...
ELK日志系统搭建完整详细步骤
文章目录一.ELK 是什么? 二.安装部署 Elasticsearch 1.下载 2.解压到指定目录 3.修改配置文件 4.新建用户并赋权 5.切换至新建的用户并启动 Elasticsearch 错 ...
将redis加入到elk日志系统里
之前在http://blog.51cto.com/chenx1242/2048014 里面,我画的那个架构图里说了整个架构可以加入redis,但是在文章里我没有写到redis怎么加进去.为了让整个系统 ...
windows下springboot项目部署elk日志系统教程elasticsearch与logstash与kibana
1.项目中加入依赖: compile 'net.logstash.logback:logstash-logback-encoder:6.0' 如果是maven项目的话:字符串中的冒号为隔断,第一个为g ...

ELK日志系统的写入优化