docker容器日志采集EFK日志分析系统的搭建与应用

2024-05-15 06:22:41

前言

docker容器中的日志会随着docker的关闭而消失，需要一个持久化的日志落地方案

本编介绍elasticsearch+kibana+filebeat的搭建如何收集各docker容器的日志

一、elasticsearch安装与配置

ES下载：
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gz解

压到/usr目录下：tar zxvf elasticsearch-6.3.2.tar.gz –c /usr/

创建es用户并赋权：useradd es&& chown -R es:es /usr/elasticsearch-6.3.2.tar.gz/

修改elasticsearch配置文件：

vim /usr/elasticsearch-6.3.2/config/elasticsearch.yml

elasticsearch不能用root启动所以切换成刚创建的用户：su es

执行：/usr/elasticsearch-6.3.2/bin/./elasticsearch

如果出现如下报错：

对此文件赋权：chmod 777 /usr/jdk1.8.0_141/jre/bin/java

再次执行es启动出现如下报错：

修改elasticsearch虚拟机参数(默认1G)：

vim /usr/elasticsearch-6.3.2/config/jvm.options

再次启动elasticsearch，出现新的报错信息

切换成root账号:su root

1. 修改：vim /etc/security/limits.conf
添加：es soft nofile 65536
es hard nofile 65536

2. 修改 vim /etc/sysctl.conf

添加：vm.max_map_count=262144

刷新：sysctl -p

再次启动elasticsearch: /usr/elasticsearch-6.3.2/bin/./elasticsearch -d (后台启动)

校验elasticsearch是否启动成功：curl 192.168.1.119:9200

或者浏览器访问：

二、kibana安装与配置

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-x86_64.rpm

安装：yum install -y kibana-6.0.0-x86_64.rpm

修改：vim /etc/kibana/kibana.yml

开机自启与启动kibana: systemctl enable kibana && systemctl start kibana

页面访问kibana：

三、filebeat安装与配置

日志收集：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm

安装：rpm -ivh filebeat-6.3.2-x86_64.rpm

修改filebeat.yml文件：vim /etc/filebeat/filebeat.yml

搭建完毕后在kibana上回发现抛错信息回被分message显示所以顺道在此文件中修改

保存退出，启动filebeat: systemctl start filebeat.service

停止filebeat服务：systemctl stop filebeat.service

至此EFK日志系统搭建完毕，下面我来介绍如何用EFK收集docker容器日志

四、EFK采集docker容器日志

以zuul服务为例：

查看代码中logback配置：

修改zuul的服务栈文件：

服务启动会发现报错没有权限访问容器logs文件夹下的zuul.log

修改设置 vim /etc/sysconfig/selinux

然后再次启动服务后可以看到宿主机中此目录以及同步到了zuul.log

然后创建kibana的索引：

docker容器日志采集EFK日志分析系统的搭建与应用相关推荐

Apache构建web主机、日志分割及AWStats分析系统
Apache小结一.构建虚拟 Web 主机 1.1 基于域名的虚拟主机 1.1.1 基于域名的虚拟主机构建流程(理论) 1.1.1.1.为虚拟主机提供域名解析方法一∶ 部署DNS域名解析服务器来 ...
Apache的配置与应用（构建web、日志分割及AWStats分析系统）
Apache的配置与应用一.构建虚拟Web主机二.httpd服务支持的三种虚拟机类型 1.基于域名的虚拟主机 2.基于IP地址的虚拟主机 3.基于端口的虚拟主机三.构建web虚拟目录与用户授权限 ...
【云服务器】基于docker容器部署Halo项目的个人博客搭建并部署到云服务器
目录 1 docker快速部署halo个人博客 2 主题设置(本文使用的是M酷Joe 2.0版本的主题,下载链接放在下面了) 2.1 API报错解决方案 2.2 首页分栏设置 2.3 轮播图的修改 2 ...
docker容器启动失败查看日志
在使用docker的时候,在某些未知的情况下可能启动了容器,但是过了没几秒容器自动退出了.这个时候如何排查问题呢? 通常碰到这种情况无非就是环境有问题或者应用有问题,应用问题再本地可以进行调试解决,但 ...
网络安全之认识日志采集分析审计系统
日志对于大家来说非常熟悉,机房中的各种系统.防火墙.交换机.路由器等等,都在不断地产生日志.无数实践告诉我们,健全的日志记录和分析系统是系统正常运营与优化以及安全事故响应的基础.我们一起来认识日志采集 ...
ELK日志分析系统搭建以及springboot日志发送到ELK中
前言安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...
Kubernetes入门——Kubernetes日志采集与监控告警
作者简介: 郭川磊百度基础架构部研发工程师负责云原生产品的研发本文基于百度云原生团队『云原生基础知识概述及实践』系列视频课程--『Kubernetes入门-Kubernetes实现应用高可用』梳 ...
Kubernetes日志采集Sidecar模式介绍
摘要: DaemonSet和Sidecar模式各有优缺点,目前没有哪种方式可以适用于所有场景.因此我们阿里云日志服务同时支持了DaemonSet以及Sidecar两种方式,并对每种方式进行了一些额外的 ...
大数据之路读书笔记-02日志采集
大数据之路读书笔记-02日志采集数据采集作为阿里大数据系统体系的第环尤为重要.因此阿里巴巴建立了一套标准的数据采集体系方案,致力全面.高性能.规范地完成海量数据的采集,并将其传输到大数据平台.本章 ...

最新文章

热门文章