关于监控日志中间件（filebeat,zookeeper,kafka,elasticsearch）的安装步骤

filebeat中的filebeat.yml实现的配置信息要素

filebeat.prospectors         #用于定义数据原型，检测日志或是发现日志
- input_type: log            #指定数据的输入类型，默认为log，另外还可以指定stdinpaths:                      #自定需要监控的日志文件路径；可以是完整的日志路径也可以是模糊的匹配格式- /var/log/messages        #指定系统日志位置fields:                      #定义日志来源，可以添加自定义字段，其实就是定义Kafka消息队列的topic主题名称，如果kafka消息队列中没有该名称，会自动生成log_topic: testpaths:                    #与上述一样定义需要监控的日志文件路径，不够这次是定义apache-web服务的日志- /etc/httpd/logs/fields:                    #定义日志来源，生成kafka消息队列topic主题log_topic: webapache
processors:            #这个地方需要注意，此配置是将日志输出格式过滤掉，一般情况下，一些无用的日志字段我们可以删除，只看关键性的信息
- drop_fields:fields: ["beat", "input_type", "source", "offset",]
name: "192.168.37.134"         #设置filebeat收集日志中对应的主机名称，，如果设置为空，这使用该机器的主机名称，这里这是本地IP，便于区分多台主机的日志信息
output.kafka:                  #多种输出类型，可支持想kafka，logstash，elasticsearch输出日志信，在这里是将日志信息输出到Kafka中，enabled: true                 启动该模块hosts: ["192.168.37.134:9092", "192.168.37.135:9092", "192.168.37.136:9092"]        #指定输出数据到kafka集群上，地址与端口号想对应version: "0.10"          topic: '%{[fields][log_topic]}'    #指定要发送数据到kafka集群的哪个topic，与上述的"fields: log_topic："相对应，这是6.x的配置partition.round_robin:         #开启kafka的partition分区reachable_only: true   worker: 2required_acks: 1compression: gzip      #压缩格式max_message_bytes: 10000000    #压缩格式字节大小
logging.level: debug        #日志类型为debug

0824号：kafka的安装需要注册中心zookeeper

1 解压zookeeper-3.4.13.tar.gz

  tar -zxvf zoopeeker-3.4.13.tar.gz

2 进入解压包的conf目录下，修改zoo.sample.cfg文件名为zoo.cfg

  mv zoo.sample.cfg zoo.cfg

3 将配置文件的conf/zoo.server.cfg改名为: zoo.cfg,然后编辑vim zoo.cfg

  修改 dataDir=/自己定义的文件目录集群配置的话需要新增节点的ip加端口server.1 = ip+portserver.2 = ip+portserver.3 = ip+port然后到自己的定义的文件目录下新建myid文件，在里面修改内容为 1cd /自己定义的文件目录vim myidi 1/2/3（三台机器分别填写1，2，3） esc : wq 保存退出

4 启动zookeeper

进入解压的文件的bin目录

 ./zkServer.sh start => 启动zookeeper./zkServer.sh stop => 停止zookeeper客户端登陆zookeeper进行节点的增删改查./zkCli.sh -timeout 500 -server 127.0.0.1:2181查询节点：ls /brokers/ids删除节点：delete /brokers/ids/1创建： create /node1

集群配置的情况就是多台节点按上述步骤依次修改即可

Kafka的安装配置

1 解压进入目录

  tar -xzf kafka_2.11-2.0.0.tgzcd kafka_2.11-2.0.0

2 进入config中修改server.config

修改:

  broker.id = 1delete.topic.enable=falseauto.create.topic.enable=truegroup.initial.rebalance.delay.ms=0listeners=PLAINTEXT://ip:9092zookeeper.connect=单机或则集群zookeeper地址zookeeper.connnection.timeout.ms=6000

3 启动kafka

  ./kafka-server-start.sh config/server.properties

4 创建topic

  ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

5 验证topic是否已经创建

 ./kafka-topics.sh -list -zookeeper localhost:2181

删除topic

 bin/kafka-topics.sh --zookeeper hadoop102:2181 \
--delete --topic first

需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除或者直接重启

发送消息

bin/kafka-console-producer.sh \
--broker-list hadoop102:9092 --topic first
>hello world
>hello kafka

消费消息

bin/kafka-console-consumer.sh \
--zookeeper hadoop102:2181 --from-beginning --topic first

–from-beginning：会把 first 主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

查看某个topic消息的情况

bin/kafka-topics.sh --zookeeper hadoop102:2181 \
--describe --topic first

Producer数据的写入流程：

1）producer 先从 zookeeper 的 "/brokers/…/state"节点找到该 partition 的
leader
2）producer 将消息发送给该 leader
3）leader 将消息写入本地 log
4）followers 从 leader pull 消息，写入本地 log 后向 leader 发送 ACK
5）leader 收到所有 ISR 中的 replication 的 ACK 后，增加 HW（high watermark，最后commit 的 offset）并向 producer 发送 ACK

elasticsearch安装部署

1 解压包 tar -zxvf elasticsearch-6.8.5.tar.gz

2 进入对应的解压文件目录,修改配置文件

  cd /confvim elasticsearch.ymlpath.data: /自定义目录path.logs: /自定义目录

可配置密码修改：

 xpack.security.enable: truexpack.security.transport.ssl.enable: true

 重置密码：./bin/elasticsearch-setup-passwords interactive 自定义密码

启动进入对应的bin目录下：

 ./elasticsearch -d => 后台启动

关于监控日志中间件（filebeat,zookeeper,kafka,elasticsearch）的安装步骤相关推荐

ELK+Filebeat+zookeeper+Kafka原理和搭建
目录引言一.ZooKeeper介绍二.Kafka介绍 2.1.为什么需要消息队列(MQ) 2.2.消息队列的好处解耦合异步处理流量削峰 2.3.Kafka的特性 2.4.Kafka作为存储 ...
zookeeper+kafka集群安装之中的一个
zookeeper+kafka集群安装之中的一个准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置例如以下: $ cat /etc/hosts ... # zookeeper host ...
ZooKeeper实战（一）：ZooKeeper原理，详细安装步骤，基本命令，节点间通信原理
回顾Redis 用redis实现分布式锁比较复杂,使用zookeeper会比较简单. 一.ZooKeeper介绍官网 https://zookeeper.apache.org/ 概览文档 https ...
elasticSearch的安装步骤~
Elasticsearch是一个实时的分布式搜索和分析引擎,关于elasticsearch和solr的比较和使用场景请自行百度. 1. 机器环境 Centos6.5 jdk-8u121-linux-x ...
filebeat+redis+logstash+elasticsearch filebeat+kafka+zookeeper+logstash+elasticsearch
收集日志的工具日志易(收费) splunk(国外,按流量收费) 介绍发展史:使用java语言,在luncen的基础上做二次封装,提供restful接口搜索的原理:倒排索引特点:水平扩展方便.提 ...
2021年大数据ELK（十九）：使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...
ELK日志分析平台（三）— kibana数据可视化、kibana监控、采集日志插件filebeat
1.kibana数据可视化--日志分析 [root@foundation50 network-scripts]# cd /mnt/pub/docs/elk/7.6/ [root@foundation5 ...
部署kafka kafka的service容器和zookeeper kafka客户端 Elasticsearch的客户端
创建network docker network create -d overlay --attachable loc_net docker stack up -c kafka.yml kafk ...
监控日志loging Elasticsearch（性能优化八）
在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取.转换,存储,维护,管理和分析. 这已然远远超出了普通处理工具.数据库等的实现能力,只有基于的分布式 ...

关于监控日志中间件（filebeat,zookeeper,kafka,elasticsearch）的安装步骤

关于监控日志中间件（filebeat,zookeeper,kafka,elasticsearch）的安装步骤相关推荐

最新文章

热门文章