flume连接kafka_日志收集系统架构设计:(flume+zookeeper+kafka+php+mysql )
正文内容
- 一、安装jdk
- 二、安装flume
- 三、安装kafka
- 1、zookeeper
- 2、kafka
- 四、启动测试步骤
- 五、目录说明
- 六、日志收集系统设计图
- 七、大数据参考资料推荐
一、安装jdk -(版本:1.8.0_191)
1.下载:
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
解压:tar -zxvf /jdk-8u191-linux-x64.tar.gz -C /home/ppgt/local/
2.修改 /etc/profile 增加:
export JAVA_HOME=/home/ppgt/local/jdk1.8.0_191
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
3.检测:
java -version
二、安装flume -(版本:1.8.0)
1.下载:
wget http://mirrors.hust.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
2.解压安装:
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /home/ppgt/local/
3.验证安装:
bin/flume-ng version
4.修改配置 conf/:
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
//配置java路径:export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191-amd64
5.添加连接kafka的配置文件:conf/flumetokafka.conf
#配置flume链接kafka
# 定义这个agent中各组件的名字
flume_kafka.sources = exec-sources
flume_kafka.sinks = kafka-sink
flume_kafka.channels = memory-channel
# Describe/configure the source
flume_kafka.sources.exec-sources.type = exec
flume_kafka.sources.exec-sources.command = tail -F /home/ppgt/tmpfile/testlogs/data.log
# Describe the sink
flume_kafka.sinks.kafka-sink.type = org.apache.flume.sink.kafka.KafkaSink
flume_kafka.sinks.kafka-sink.topic = topiclogs01
flume_kafka.sinks.kafka-sink.brokerList = localhost:9092
flume_kafka.sinks.kafka-sink.requiredAcks = 1
flume_kafka.sinks.kafka-sink.batchSize = 20
# Use a channel which buffers events in memory
flume_kafka.channels.memory-channel.type = memory
flume_kafka.channels.memory-channel.capacity = 1000
flume_kafka.channels.memory-channel.transactionCapacity = 100
# Bind the source and sink to the channel
flume_kafka.sources.exec-sources.channels = memory-channel
flume_kafka.sinks.kafka-sink.channel = memory-channel
三、安装kafka
1.安装依赖zookeeper -(版本:3.4.12)
1)下载:
wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
2)解压:
tar -zxvf zookeeper-3.4.12.tar.gz -C /home/ppgt/local/
3)修改数据存储目录:
conf/zoo.cfg
cp zoo_sample.cfg zoo.cfg
修改值:dataDir=/home/ppgt/kafka_zk_tmp/tmp/zookeeper
2.安装kafka -(版本:0.9.0.0)
1)下载:
wget https://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
2)解压:
tar -zxvf kafka_2.11-0.9.0.0.tgz -C /home/ppgt/local/
3)修改配置文件:config/server.properties
a) zookeeper.connect=localhost:2181 #zk服务地址
b) host.name=localhost #主机名
c) log.dirs=/home/ppgt/kafka_zk_tmp/tmp/kafka-logs#kafka数据的存放地址
d) num.partitions=1 #分区数量
e) listeners=PLAINTEXT://:9092 #kafka监听端口
f) broker_id=0 #唯一标识id
四、启动测试步骤
1.启动zookeeper
bin/zkServer.sh start
2.启动flume
bin/flume-ng agent --conf conf --conf-file conf/flumetokafka.conf --name flume_kafka -Dflume.root.logger=INFO,console
3.启动kafka
//启动kafka服务
bin/kafka-server-start.sh /home/ppgt/local/kafka_2.11-0.9.0.0/config/server.properties
//创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topiclogs01
//创建一个kafka消费者
php /home/ppgt/www_test_ppgt_admin/syslogs_featrue_v1.0/script/cron/sysLogsConsumerRun.php
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topiclogs01 --from-beginning
//或者执行php消费者
//生产测试日志
echo '内容' exce >> /home/ppgt/tmpfile/testlogs/data.log
五、目录说明
1./home/ppgt/local/
conf/zoo.cfg #配置文件
conf/flumetokafka.conf #连接kafka的配置文件
config/server.properties #配置文件
conf/flume-env.sh#配置文件
jdk1.8.0_191 #jdk安装目录
apache-flume-1.8.0-bin/#flume安装目录
kafka_2.11-0.9.0.0/ #kafka安装目录
zookeeper-3.4.12/ #zookeeper安装目录
2./home/ppgt/kafka_zk_tmp/tmp/
zookeeper/ #zookeeper数据存储目录
kafka-logs/ #kafka数据的存放地址
六、日志收集系统设计图
七、大数据资料文章推荐
- flume:
- https://blog.csdn.net/mengfanzhundsc/article/details/81300310?from=singlemessage&isappinstalled=0
- https://blog.csdn.net/caodaoxi/article/details/25903867
- https://www.cnblogs.com/tonglin0325/p/8963395.html
- http://www.wfuyu.com/technology/25331.html
- https://blog.csdn.net/Team77/article/details/44154529a
- https://blog.csdn.net/wuxintdrh/article/details/79478710
- https://blog.csdn.net/l1028386804/article/details/79366155
- https://blog.csdn.net/jy02268879/article/details/81024758
- http://itindex.net/detail/57323-flume-%E7%9B%91%E6%8E%A7-%E6%97%A5%E6%9C%9F
- https://github.com/ypenglyn/locktail/blob/master/locktail_rotate.sh
- https://blog.csdn.net/maoyuanming0806/article/details/79391010
- https://blog.csdn.net/u010316188/article/details/79905372
- https://blog.csdn.net/u011254180/article/details/80000763
- linux下flume安装
- flume使用taildir收集文件和文件夹
- taildirSource多文件监控实时采集
- 滚动日志监控解决方案:
- Flume使用:监控文件实时采集新增数据输出到控制台
- Flume之——Flume读取日志数据写入Kafka
- flume Source志SpoolDir
- flume监控
- flume监控参数说明
- flume监控指标详解
- 大数据系列之Flume--几种不同的Sources
- kafuka:
- https://www.jianshu.com/p/a036405f989c
- https://blog.csdn.net/nankiao/article/details/78553635
- https://blog.csdn.net/weixin_38750084/article/details/82944759
- http://www.cnblogs.com/jun1019/p/6656223.html
- https://www.cnblogs.com/jun1019/p/6256514.html
- http://www.tianshouzhi.com/api/tutorials/kafka/117
- https://www.cnblogs.com/hei12138/p/7805475.html
- kafka介绍
- kafka的使用和安装
- kafka存储机制
- kafka配置说明
- kafka与zookeeper间的关联
- Zookeeper 在 Kafka 中的作用
flume连接kafka_日志收集系统架构设计:(flume+zookeeper+kafka+php+mysql )相关推荐
- 基于Flume的美团日志收集系统-----架构和设计
问题导读: 1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方? 2.架构设计考虑需要考虑什么问题? 3.Agent死机该如何解决? 4.Collector死机是否会有影响? 5 ...
- 基于Flume的美团日志收集系统(一)架构和设计
背景 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流.美团的日志收集系统基于Flume设计和搭建而成. <基于Flume的美团 ...
- Flume日志收集系统架构详解--转
2017-09-06朱洁大数据和云计算技术 任何一个生产系统在运行过程中都会产生大量的日志,日志往往隐藏了很多有价值的信息.在没有分析方法之前,这些日志存储一段时间后就会被清理.随着技术的发展和分析能 ...
- 基于Flume的美团日志收集系统(二)改进和优化
在<基于Flume的美团日志收集系统(一)架构和设计>中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计.在本节中,我们将会讲述在实际部署和使用过程中遇到的问 ...
- 分布式日志收集系统Apache Flume的设计详细介绍
问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel的作用是什么 ...
- go语言日志收集系统
0.项目地址 完整项目的GitHub地址 https://github.com/taw19960426/learning-go-language/tree/main/go-log-collect 一. ...
- Go语言学习之11 日志收集系统kafka库实战
本节主要内容: 1. 日志收集系统设计 2. 日志客户端开发 1. 项目背景 a. 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 b. 当系统机器比较少时,登陆到服务器上查 ...
- ELK 日志收集系统方案
文章目录 背景 ELK使用组件简介 方案1 ELK 方案二 EFK 方案三: FELK 方案四:个性化框架 总结: 日志展示及查询 环境 背景 在项目初期的时候,大家都是赶着上线,一般来说对日志没有过 ...
- 探秘Hadoop生态12:分布式日志收集系统Flume
这位大侠,这是我的公众号:程序员江湖. 分享程序员面试与技术的那些事. 干货满满,关注就送. 在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从Hadoop的业务开发流程 ...
最新文章
- 今生不再见, VS Code !
- Oracle笔记 八、PL/SQL跳转/判断/循环语句块
- FastDFS集群部署
- vscode - 添加背景图片
- Perl Fork的问题
- 腾达ap设置说明_腾达路由器怎么设置AP模式?
- 从SAP顾问教JAVA开发说起
- 简历中对技术的描述词汇:了解,熟悉,掌握,熟练,精通
- mysql 查询view_MySQL之视图(VIEW)
- 图漾深度相机FS820-E1使用
- 自用房屋租住管理系统
- python数据分析之数据分析(步骤)流程
- Revit二次开发入门相关安装和配置
- 【博弈】 各种博弈的搬运整理
- 如何查看计算机网络密码是什么意思,如何查看电脑用户名_如何查看电脑网络密码...
- shell小技巧(六)读取文件末尾为数字行的末尾数字
- 一次夜维SQL的性能优化
- 福特收购一家小型机器人公司 加速自动驾驶汽车研发
- Win10应用右下角小盾牌怎么解决
- 关于Virtual PC
热门文章
- Java Integer类lowerOneBit()方法与示例
- python 整数最大_Python程序使用floor()方法查找最大整数
- um是代表什么意思_女生约会心里都想什么?女生约会举动代表什么意思
- Java中lastValue_在Logstash中为sql_last_value使用表的ID?
- java npm install_npm install不构建供应商可执行文件
- stl max函数_C ++ STL中带有示例的array :: max_size()函数
- Java LineNumberInputStream available()方法与示例
- android中requestFocus 以及与setFocusable的区别
- 51单片机 16*64LED单红点阵屏驱动测试,上位机改字软件免费版
- IT运维面试问题总结-运维工具、开源应用(Ansible、Ceph、Docker、Apache、Nginx等)