一、下载、安装、配置、启动：

1、下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.2-linux-x86_64.tar.gz

2、解压：

tar -zxvf elasticsearch-8.3.2-linux-x86_64

3、配置
启动Elasticsearch，进入/bin目录下./elasticsearch，不出意外的外会报以下错误：

报错1：能打开的文件或进程数太低。

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

解决方法：
修改/etc/security/limits.conf 配置文件，添加配置如下：

hard nofile 655360
soft nofile 131072
hard nproc 4096
soft nproc 2048
# nofile - 打开文件的最大数目
# noproc - 进程的最大数目
# soft 指的是当前系统生效的设置值
# hard 表明系统中所能设定的最大值

报错2：

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方法：
修改/etc/sysctl.conf 配置文件，添加配置如下：

vm.max_map_count=655360
# 缺省配置下，单个jvm能开启的最大线程数为其一半
fs.file-max=655360
# 设置 系统所有进程一共可以打开的文件数量

修改完之后执行命令：sysctl -p

配置3：

根据自身主机内存大小设置es，修改/jvm.options配置文件，太大或太小都可能导致启动失败

-Xmx2g
-Xms2g

配置4：外网访问
修改elasticearsh.yml文件：

network.host: 0.0.0.0
# 设置为自己的ip或0.0.0.0

开放端口号，重启防火墙：

firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --query-port=9200/tcp
systemctl restart firewalld.service

配置Kibana
同样下载解压缩Kibana，打开/config/kibana.yml设置连接ES信息：

elasticsearch.hosts: ["IP:9200"]
elasticsearch.username: name
elasticsearch.password: password

二、索引生命周期和索引模板

日志信息不可能永久的存储在ES中，所以需要对索引进行管理，按照采集的日志的保存时长定期删除，可通过程序定时任务每天检查到期的索引然后删除，也可以使用ES的索引生命周期对索引进行管理，使用索引生命周期需结合绑定索引模板搭配使用。

生命周期策略及索引模板的创建及使用参考文章：ElasticSearch——索引生命周期管理

2.1、创建索引生命周期策略

如上图所示，只启用了热阶段和删除阶段，索引建立30天之后删除。

2.2、创建索引模板

如上图所示，创建索引模板并关联生命周期策略，设置索引分片数量和副本数量。因为未启用热阶段的滚动更新，所以不用设置别名。
测试时可将热阶段到删除阶段过程缩短到几分钟，但生命周期策略刷新时间默认是10min，我们在测试的时候可以设置的短一些，如1min：

PUT _cluster/settings
{"transient": {"indices.lifecycle.poll_interval": "1min" }
}

如图所示，新创建的索引根据索引模板关联上了生命周期策略，30天后进入删除阶段进行删除。

Filebeat+Kafka+ELK日志采集(五)——Elasticsearch相关推荐

Filebeat+Kafka+ELK日志采集(一)
一.日志采集架构图: 二.模块功能说明: 2.1.filebeat Filebeat实现日志采集,采集指定路径的日志文件,并对日志格式.内容.字段等信息进行处理,发送至消息中间件.或发送至Logsta ...
Filebeat+Kafka+ELK日志采集(二)——Filebeat
1.Filebeat概述 Filebeat用于日志采集,将采集的日志做简单处理(多行合并)发送至Kafka.Logstash.Elasticsearch等. 2.快速开始先以最简模型快速开始再讲原理 ...
CentOS 7.2下Filebeat+Kafka+ELK生产部署（安全加固）
01架构说明在需要采集日志的服务器上部署Filebeat服务,它将采集到的日志数据推送到Kafka集群: Logstash服务通过input插件读取Kafka集群对应主题的数据,期间可以使用filt ...
FileBeat + Pipeline 解析日志保存至ElasticSearch（实战）
文章目录 FileBeat + Pipeline 解析日志保存至ElasticSearch(实战) 下载地址目的日志数据模拟Pipeline 创建pipeline 查看Pipeline是否创建 ...
[Golang] 消费Kafka的日志提交到ElasticSearch
0x0 需求消费Kafka的日志并写入ElasticSearch供查询 0x1 依赖库 golang版Kafka客户端 https://github.com/Shopify/sarama golan ...
Springboot/Springcloud整合ELK平台，（Filebeat方式）日志采集及管理（Elasticsearch+Logstash+Filebeat+Kibana）
前言最近在搞一套完整的云原生框架,详见 spring-cloud-alibaba专栏,目前已经整合的log4j2,但是想要一套可以实时观察日志的系统,就想到了ELK,然后上一篇文章是socket异步 ...
fliebeat+kafka ELK日志分析平台实战
一.ELK Stack 架构 1.ELK Stack简介 ELK 不是一款软件,而是 Elasticsearch.Logstash 和 Kibana 三种软件产品的首字母缩写.这三者都是开源软件,通常 ...
ELK日志分析平台-Elasticsearch搭建和异常处理
一.介绍 1.1. ELK日志分析平台 (1)不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写. ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日 ...
php laravel lumen ELK日志采集系统安装
物料准备 ELK下载地址:下载中心 - Elastic 中文社区 elasticsearch-7.4.0-linux-x86_64.tar.gz filebeat-7.4.0-linux-x86_64 ...

Filebeat+Kafka+ELK日志采集(五)——Elasticsearch

一、下载、安装、配置、启动：

二、索引生命周期和索引模板

2.1、创建索引生命周期策略

2.2、创建索引模板

Filebeat+Kafka+ELK日志采集(五)——Elasticsearch相关推荐

最新文章

热门文章