flume多节点集群搭建
概览
1.Flume流程简介
2.规划
3.配置
4.启动测试
5.注意
准备
操作系统:CentOS 7
搭建好hadoop集群
Flume版本:1.8.0
jdk版本:1.8.0_141
工具:Xshell 5,Xftp 5,VMware Workstation Pro
1.Flume流程简介
Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合,最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息,不仅限于日志。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。相比较而言,flume NG更简单更易于管理操作。
Flume OG:Flume original generation 即Flume 0.9.x版本
Flume NG:Flume next generation 即Flume 1.x版本。
Flume NG用户参考手册:http://flume.apache.org/FlumeUserGuide.html#
简单比较一下两者的区别:
OG有三个组件agent、collector、master,agent主要负责收集各个日志服务器上的日志,将日志聚合到collector,可设置多个collector,master主要负责管理agent和collector,最后由collector把收集的日志写的HDFS中,当然也可以写到本地、给storm、给Hbase。
NG最大的改动就是不再有分工角色设置,所有的都是agent,可以彼此之间相连,多个agent连到一个agent,此agent也就相当于collector了,NG也支持负载均衡.
2.规划
三台主机的主机名分别为master,slave1,slave2(防火墙已关闭)
由slave1和slave2收集日志信息,传给master,再由master上传到hdfs上
3.配置
3.1上传解压
在slave1上的usr文件夹下新建个flume文件夹,用作安装路径
[root@slave1 usr]# mkdir flume
[root@slave1 usr]# ls
bin etc flume games hadoop hbase include java lib lib64 libexec local sbin share sqoop src tmp zookeeper
[root@slave1 usr]# cd flume/
利用Xftp工具将flume压缩包上传到usr/flume文件夹下,解压
[root@slave1 flume]# ls
apache-flume-1.8.0-bin.tar.gz
[root@slave1 flume]# tar -zxf apache-flume-1.8.0-bin.tar.gz
3.2 .配置flume-env.sh文件
# 进入到conf文件夹下
[root@slave1 flume]# cd apache-flume-1.8.0-bin/conf/
[root@slave1 conf]# ls
flume-conf.properties.template flume-env.ps1.template flume-env.sh.template log4j.properties
# 拷贝出来一个flume-env.sh文件
[root@slave1 conf]# cp flume-env.sh.template flume-env.sh
[root@slave1 conf]# ls
flume-conf.properties.template flume-env.ps1.template flume-env.sh flume-env.sh.template log4j.properties
# 修改flume-env.sh文件
[root@slave1 conf]# vim flume-env.sh
将java的安装路径修改为自己的
我的是/usr/java/jdk1.8.0_141
3.3 配置slave.conf文件
在conf下创建一个新的slave.conf文件
#创建
[root@slave1 conf]# touch slave.conf
#修改
[root@slave1 conf]# vim slave.conf
写入配置内容
# 主要作用是监听目录中的新增数据,采集到数据之后,输出到avro (输出到agent)
# 注意:Flume agent的运行,主要就是配置source channel sink
# 下面的a1就是agent的代号,source叫r1 channel叫c1 sink叫k1a1.sources = r1
a1.sinks = k1
a1.channels = c1#具体定义source
a1.sources.r1.type = spooldir
#先创建此目录,保证里面空的
a1.sources.r1.spoolDir = /logs #对于sink的配置描述 使用avro日志做数据的消费
a1.sinks.k1.type = avro
# hostname是最终传给的主机名称或者ip地址
a1.sinks.k1.hostname = master
a1.sinks.k1.port = 44444#对于channel的配置描述 使用文件做数据的临时缓存 这种的安全性要高
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /home/uplooking/data/flume/checkpoint
a1.channels.c1.dataDirs = /home/uplooking/data/flume/data#通过channel c1将source r1和sink k1关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
保存退出
3.4 将flume发送到其他主机
[root@slave1 conf]# scp -r /usr/flume/ root@slave2:/usr/
[root@slave1 conf]# scp -r /usr/flume/ root@master:/usr/
3.5 修改master中flume的配置
在master的flume的conf文件夹下创建一个master.conf文件
[root@master conf]# vim master.conf
写入配置信息
# 获取slave1,2上的数据,聚合起来,传到hdfs上面
# 注意:Flume agent的运行,主要就是配置source channel sink
# 下面的a1就是agent的代号,source叫r1 channel叫c1 sink叫k1a1.sources = r1
a1.sinks = k1
a1.channels = c1#对于source的配置描述 监听avro
a1.sources.r1.type = avro
# hostname是最终传给的主机名称或者ip地址
a1.sources.r1.bind = master
a1.sources.r1.port = 44444#定义拦截器,为消息添加时间戳
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder#对于sink的配置描述 传递到hdfs上面
a1.sinks.k1.type = hdfs
#集群的nameservers名字
#单节点的直接写:hdfs://主机名(ip):9000/xxx
#ns是hadoop集群名称
a1.sinks.k1.hdfs.path = hdfs://ns/flume/%Y%m%d
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
a1.sinks.k1.hdfs.rollCount = 0
#HDFS上的文件达到128M时生成一个文件
a1.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
a1.sinks.k1.hdfs.rollInterval = 60 #对于channel的配置描述 使用内存缓冲区域做数据的临时缓存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100#通过channel c1将source r1和sink k1关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
保存退出
4.启动测试
确认防火墙关闭
首先启动Zookeeper和hadoop集群,参考hadoop集群搭建中的启动
然后先启动master上的flume(如果先启动slave上的会导致拒绝连接)
在apache-flume-1.8.0-bin目录下启动(因为没有配置环境变量)
[root@master apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/master.conf -Dflume.root.logger=INFO,console
如此便是启动成功
如果想后台启动(这样可以不用另开窗口操作)
# 命令后加&
[root@master apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/master.conf -Dflume.root.logger=INFO,console &
再启动slave1,2上的flume
首先在slave1,2的根目录创建logs目录
[root@slave1 apache-flume-1.8.0-bin]# cd /
[root@slave1 /]# mkdir logs
不然会报错
[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start EventDrivenSourceRunner: { source:Spool Directory source r1: { spoolDir: /logs } } - Exception follows.
java.lang.IllegalStateException: Directory does not exist: /logsat com.google.common.base.Preconditions.checkState(Preconditions.java:145)at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.<init>(ReliableSpoolingFileEventReader.java:159)at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.<init>(ReliableSpoolingFileEventReader.java:85)at org.apache.flume.client.avro.ReliableSpoolingFileEventReader$Builder.build(ReliableSpoolingFileEventReader.java:777)at org.apache.flume.source.SpoolDirectorySource.start(SpoolDirectorySource.java:107)at org.apache.flume.source.EventDrivenSourceRunner.start(EventDrivenSourceRunner.java:44)at org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:249)at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)at java.lang.Thread.run(Thread.java:748)
#slave1
[root@slave1 /]# cd /usr/flume/apache-flume-1.8.0-bin
[root@slave1 apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/slave.conf -Dflume.root.logger=INFO,console#slave2
[root@slave2 /]# cd /usr/flume/apache-flume-1.8.0-bin
[root@slave2 apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/slave.conf -Dflume.root.logger=INFO,console
测试
启动成功后(如果没有后台启动另开个窗口继续下面操作)
在slave1的usr/tmp文件夹下新建个test文件
[root@slave1 tmp]# vim test
随便写入一些内容
helloworld
test
保存退出
将其复制到logs文件夹下
[root@slave1 tmp]# cp test /logs/
查看master
登录http://(hadoop中active状态的namenode节点IP):50070/explorer.html#
如此便是flume多节点集群搭建完成
5.注意
登录查看需要是active的节点地址,具体参考hadoop集群搭建中的测试
在启动slave上的flume前要先建立logs文件夹,也就是flume安装路径/conf下的slave.conf文件中的
flume多节点集群搭建相关推荐
- Redis 多机多节点集群搭建方案(5.0版本)
>搭建环境: a)redis的安装包,redis-5.0.8.tar.gz b)gcc安装包gcc_rpm.tar.gz c)VM10 d)CentOS镜像文件 >搭建步骤: 1.准备工作 ...
- k8s双节点集群搭建详细教程
K8S v1.13.0 集群搭建 环境 两台centos主机: Master:192.168.11.112 主机名:k8s-master Node:192.168.11.111 主机名:k8s-nod ...
- RabbitMQ双节点集群搭建
一 实验环境 二 安装步骤 2.1 安装单实例RabbitMQ 可参考:安装rabbitmq 3.7.6_雅冰石的专栏-CSDN博客 2.2 修改两台服务器的/etc/hosts文件 添加: 192. ...
- cassandra集群搭建中若干问题的解决
至于如何搭建cassandra集群推荐一个链接,一步一步跟着做即可! 3节点集群搭建:cassandra3节点集群安装 - 简书 下面步入正题!!! 问题一:启动cassandra后遇到JDK错误 e ...
- Eureka集群搭建,unavailable-replicas服务节点不可用解決方案
最近由于项目需要搭建了eureka集群,集群搭建完成后,发现服务节点均在unavailable-replicas下,即说明集群搭建失败,各节点之间不能互相通信,网上查找了各种资料,终于解决,现将问题处 ...
- java集群_Kafka多节点分布式集群搭建实现过程详解_java
上一篇分享了单节点伪分布式集群搭建方法,本篇来分享一下多节点分布式集群搭建方法.多节点分布式集群结构如下图所示: 为了方便查阅,本篇将和上一篇一样从零开始一步一步进行集群搭建. 一.安装Jdk 具体安 ...
- hbase集群搭建,hbase单个节点重启
1.1 hbase集群结构 REGION:是HBASE中对表进行切割的单元 HMASTER: HBASE的主节点,负责整个集群的状态感知,负载分配.负责用户表的元数据管理 (可以配置多个用来实现HA) ...
- Mac M1 搭建虚拟机节点集群过程及软件分享
前言 推荐软件 搭建虚拟机 安装教程 静态 IP 配置 虚拟机克隆 Termius 使用 总结 前言 自从使用了 Mac M1 系统搭载的芯片进行使用时,很多软件都不能够兼容进行使用,对于热爱分布式. ...
- 【Docker之Swarm详细讲解Swarm集群搭建管理节点工作节点Raft一致性协议overlay网络Docker结合Swarm部署WordPress个人博客实战】
一.知识回顾 之前的内容都帮你整理好了,在这里哟! [0.Docker相关目录文章整理,可自行查看,包含多节内容] [1.Docker详细安装部署&阿里镜像地址配置] [2.Docker架构& ...
最新文章
- 编码中统一更该变量的快捷键_流媒体的7种方式使您成为更好的编码器
- python 比较矩阵对应位置元素大小,比较矩阵的两个元素并在不同位置填充相对值...
- matlab 向量模量,有限元分析简单实例之平面矩形薄板(matlab)
- 通过反射越过泛型检查
- C++基础( C++初识、数据类型、运算符、程序流程结构、)
- 使用junit进行单元测试_使用JUnit对ADF应用程序进行单元测试
- 一款社区论坛小程序源码
- linux open函数解释,linux之open函数解析
- 推荐系统组队学习——WideDeep
- 微服务架构如何实现网站服务垂直化拆分
- Java基础增强:集合的嵌套案例
- 【190105】VC++ 家庭理财系统1.0(Access)源码源代码
- 上海交大计算机系王楠,交通学院本科生学生组织干部名单
- python绘制隐含波动率曲面_使用python+tushare计算期权隐含波动率并作图
- buildSrc使用,依赖统一管理
- Linux一键安装部署环境
- Java设计模式实战 ~ 观察者模式分析与实战
- Linux安装zabbix4
- python编程技术解决英语单词测试(包括添加英文单词、查询英文单词和查询英文单词)以及绘制雷达图功能
- matlab p文件转码 matlab pcode文件 将matlab中的p文件转为m文件工具
热门文章
- 瑞企体育系统源码,赛事直播系统,足球直播程序,体育赛事足球系统功能介绍
- 设置计算机网络密码怎么设置路由器,如何在计算机上设置路由器密码?
- Datawhale组队学习NLP之transformer Task03 BERT
- python判断用户名密码是否正确_python实现用户名密码校验
- 高德地图宣布品牌升级,打造出门好生活开放服务平台
- 基于Matlab对大米计数的研究
- 资产会计中常见日期(资本化日期、资产价值日等)解析
- matlab中的~用法和~=
- uniapp文本框,地区选择器,性别选择,实例
- IM模块-UiCollectionView列表显示气泡图片