分布式解决方案之分布式日志采集elk+kafka 环境的构建

文章目录

一、软件下载列表
- 1. zookeeper
- 2. kafka
- 3. logstash
- 4. elasticsearch
- 5. kibana
- 6. zktools
二、安装zk环境
- 2.1. 上传安装包
- 2.2. 解压
- 2.3. 创建data目录
- 2.4. 修改配置
- 2.5.启动zk
三、安装kafka环境
- 3.1. 上传安装包
- 3.2. 解压kafka安装包
- 3.3. 创建data文件夹
- 3.4. 修改配置
- 3.5. 启动kafka
四、docker安装ES
- 4.1. 安装ES
- 4.2. 验证服务
五、docker安装Kibana
- 5.1. 创建Kibana容器
- 5.2. 验证服务
六、构建环境
- 6.1. 解压logstash
- 6.2. 安装kafka输入插件
- 6.3. 安装elasticsearch输入插件
- 6.4. Kafka logstash配置文件
- 6.5. 启动logstash
七、Elk整合实际项目

一、软件下载列表

1. zookeeper

zookeeper-3.4.10.tar.gz

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

2. kafka

kafka_2.12-2.1.1.tgz

wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.12-2.1.1.tgz

3. logstash

logstash-6.7.2.tar.gz

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.7.2.tar.gz

4. elasticsearch

elasticsearch-6.7.2.tar.gz

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.2.tar.gz

5. kibana

kibana-6.7.2-linux-x86_64.tar.gz

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.2-linux-x86_64.tar.gz

6. zktools

链接： https://pan.baidu.com/s/1c8m6yBwPc5DBTg5lIrfkKw
提取码：7agv

说明：elasticsearch和kibana 演示采用docker安装方便，后续都更换成docker

二、安装zk环境

2.1. 上传安装包

上传Zookeeper安装包，#进入软件安装目录/app

cd /app

2.2. 解压

解压zookeeper到安装目录

tar -zxvf zookeeper-3.4.10.tar.gz

2.3. 创建data目录

cd /app/zookeeper-3.4.10
mkdir data

2.4. 修改配置

修改Zookeeper的配置文件

cd /app/zookeeper-3.4.10/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

修改配置文件：dataDir=/app/zookeeper-3.4.10/data

2.5.启动zk

cd /app/zookeeper-3.4.10/bin
./zkServer.sh start

三、安装kafka环境

3.1. 上传安装包

1.上传kafka安装包kafka_2.12-2.1.1.tgz到/app 目录下

3.2. 解压kafka安装包

tar -zxvf kafka_2.12-2.1.1.tgz

3.3. 创建data文件夹

进入到kafka安装目录下，创建data文件夹

cd cd /app/kafka_2.12-2.1.1/
mkdir data

3.4. 修改配置

修改kafka的配置文件

vim config/server.propertieslog.dirs=/app/kafka_2.12-2.1.1/data
listeners=PLAINTEXT://当前服务器ip:9092
advertised.listeners=PLAINTEXT://当前服务器ip:9092

3.5. 启动kafka

cd /app/kafka_2.12-2.1.1/
bin/kafka-server-start.sh config/server.properties

后台启动：nohup bin/kafka-server-start.sh config/server.properties &

四、docker安装ES

4.1. 安装ES

1.安装elasticsearch

docker run \
-d \
--name es \
-p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
elasticsearch:6.7.2

4.2. 验证服务

[root@localhost ~]# curl 127.0.0.1:9200
{"name" : "A_ZAaLs","cluster_name" : "docker-cluster","cluster_uuid" : "vkEHjf_fRO-11XSDYmjW-A","version" : {"number" : "6.7.2","build_flavor" : "default","build_type" : "docker","build_hash" : "56c6e48","build_date" : "2019-04-29T09:05:50.290371Z","build_snapshot" : false,"lucene_version" : "7.7.0","minimum_wire_compatibility_version" : "5.6.0","minimum_index_compatibility_version" : "5.0.0"},"tagline" : "You Know, for Search"
}

五、docker安装Kibana

5.1. 创建Kibana容器

& Kibana

docker run  \
-it  \
-d  \
-e ELASTICSEARCH_URL=http://192.168.92.137:9200  \
--name kibana  \
--restart=always  \
-p 5601:5601  \
kibana:6.7.2

5.2. 验证服务

测试运行结果

http://192.168.92.137:5601/app/kibana

六、构建环境

logstash 同步到 elasticsearch

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地

Logstash输入数据源：

本地文件
Kafka
Redis/mysql
Logstash输出数据源：
Es
Mongdb
Redis
Mysql

6.1. 解压logstash

tar -zxvf logstash-6.7.2.tar.gz

6.2. 安装kafka输入插件

cd /app/logstash-6.7.2
bin/logstash-plugin install logstash-input-kafka

6.3. 安装elasticsearch输入插件

bin/logstash-plugin install logstash-output-elasticsearch

6.4. Kafka logstash配置文件

vim /app/logstash-6.7.2/config/mylog.conf

添加以下内容：

input {kafka {bootstrap_servers => "192.168.92.137:9092" # kafka服务端地址topics => "mayikt-log" # 队列名称}
}
filter {#Only matched data are send to output.
}
output {elasticsearch {action => "index"          #The operation on EShosts  => "192.168.92.137:9200"   # ElasticSearch host, can be array.index  => "mayikt_logs"         # The index to write data to.}}

6.5. 启动logstash

cd /app/logstash-6.7.2/bin
./logstash -f ../config/kafka.conf

到目前为止，zookeeper、kakfa、elasticsearch、kibana、logstash-6.7.2 都启动完毕了

七、Elk整合实际项目

https://gblfy.blog.csdn.net/article/details/123434785

分布式解决方案之分布式日志采集elk+kafka 环境的构建相关推荐

微服务架构-分布式解决方案-110：基于canal整合kafka异步解决数据一致性的问题
110:基于canal整合kafka异步解决数据一致性的问题 1 canal整合kafka的效果演示 2 构建zookeeper环境 3 构建kafka的环境 4 canal将消息异步投递到kafka ...
Ping CAP CTO、Codis作者谈redis分布式解决方案和分布式KV存储
此文根据[QCON高可用架构群]分享内容,由群内[编辑组]志愿整理,转发请注明出处. 苏东旭,Ping CAP CTO,Codis作者开源项目Codis的co-author黄东旭,之前在豌豆荚从事i ...
ELK+kafka日志系统搭建-实战
日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠 ...
ELK + kafka 日志方案
概述本文介绍使用ELK(elasticsearch.logstash.kibana) + kafka来搭建一个日志系统.主要演示使用spring aop进行日志收集,然后通过kafka将日志发送给l ...
容器日志采集利器Log-Pilot
容器时代越来越多的传统应用将会逐渐容器化,而日志又是应用的一个关键环节,那么在应用容器化过程中,如何方便快捷高效地来自动发现和采集应用的日志,如何与日志存储系统协同来高效存储和搜索应用日志.本文将主要 ...
nxlog 日志采集
Nxlog 主要用于各业务后端服务的日志采集,windows环境和linux环境都支持. RPM 包:rpm -ivh http://nxlog.co/system/files/products/fi ...
网络日志采集_企业网络日志对网络安全有哪些帮助作用？
网络日志采集对企业网络安全有哪些帮助?随着互联网安全问题的不断加剧,企业网络安全越来越值得关注.网络陷阱,网络病毒等危害企业网络安全的问题随着互联网的发展变得越来越普遍.加强网络安全防护,规范企业用户 ...
ELK + kafka 分布式日志解决方案
ELK + kafka 分布式日志解决方案参考文章: (1)ELK + kafka 分布式日志解决方案 (2)https://www.cnblogs.com/zmsn/p/11639787.html ...
ELK+Kafka分布式日志收集系统环境搭建
一.ES与kafka环境搭建 1.使用Docker搭建Elasticsearch Docker安装ES 2.使用Docker搭建Kafka,因为这里是演示,所以Kafka没有搭建集群. Docker安 ...