flume安装以及应用
下载
//wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
wget http://mirrors.hust.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
解压
tar –zxvf apache-flume-1.8.0-bin.tar.gz
mv apache-flume-1.8.0-bin /usr/local/flume
3) 设置环境变量
Vim /etc/profile.d/flume.sh
Source /etc/profile
4) 配置java_home
cp flume-env.sh.template flume-env.sh
vim flume-env.sh
可视化:
--------------
1.
2.
3.
4.
5.
package com.it18zhang.callloggen;
import java.util.HashMap;
import java.util.Map;
/**
*
*/
public class App {
public static Map<String,String> caller = new HashMap<String, String>();
static{
caller.put("15810092493", "史玉龙");
caller.put("18000696806", "赵贺彪");
caller.put("15151889601", "张倩 ");
caller.put("13269361119", "王世昌");
caller.put("15032293356", "张涛");
caller.put("17731088562", "张阳");
caller.put("15338595369", "李进全");
caller.put("15733218050", "杜泽文");
caller.put("15614201525", "任宗阳");
caller.put("15778423030", "梁鹏");
caller.put("18641241020", "郭美彤");
caller.put("15732648446", "刘飞飞");
caller.put("13341109505", "段光星");
caller.put("13560190665", "唐会华");
caller.put("18301589432", "杨力谋");
caller.put("13520404983", "温海英");
caller.put("18332562075", "朱尚宽");
caller.put("18620192711", "刘能宗");
}
public static void main(String[] args) {
genCallLog();
}
public static void genCallLog(){
}
生成jar包,部署到centos执行
--------------------------------
1.使用maven生成jar文件
...
2.部署到centos
3.执行
$>mkdir /home/centos/calllog
java -cp calllog.jar com.it18zhang.callloggen.App /home/logs/calllog/calllog.log
4.创建centos上的执行脚本
[calllog.sh]
#!/bin/bash
java -cp calllog.jar com.it18zhang.callloggen.App /home/logs/calllog/calllog.log
5.修改权限
$>chmod a+x calllog.sh
6.执行脚本
$>cd ~/calllog
$>./calllog.sh
手机号
---------------
0755-67568979
186----------
086+0755-67568979
固话
--------------
0755-67568979
0755-67568979
网络电话
-------------
12358757575765656565
启动zk集群[s201 + s202 + s203]
-------------
$>zkServer.sh start
启动kafka集群[s202 + s203 + s204]
-----------------
$>cd /soft/kafka/config
$>kafka-server-start.sh -daemon server.properties
创建kafka主题
-----------------
//创建主题
$>kafka-topics.sh --zookeeper s202:2181 --topic calllog --create --replication-factor 3 --partitions 4
//查看主题列表
$>kafka-topics.sh --zookeeper s202:2181 --list
//启动控制台消费者,消费calllog主题,用于测试.
$>kafka-console-consumer.sh --zookeeper s201:2181 --topic calllog
topic consumer均在zookeeper上
s201上编写flume配置文件件,实时收集calllog.log日志
--------------------------------------------
1.配置文件
[/soft/flume/conf/calllog.conf]
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type=exec
#-F 最后10行,如果从头开始收集 -c +0 -F:持续收集后续数据,否则进程停止。
a1.sources.r1.command=tail -F -c +0 /home/centos/calllog/calllog.log
a1.channels.c1.type=memory
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = calllog
a1.sinks.k1.kafka.bootstrap.servers = s202:9092 s203:9092 s204:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2.启动flume收集程序
$>./flume-ng agent -f /home/appinstall/installed/apache-flume-1.8.0-bin/conf/calllog.conf -n a1 &
在s202主机安装flume软件
flume例子:
flume安装以及应用相关推荐
- flume java 安装部署_[Hadoop] Flume安装部署与简单使用
1. Flume Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去. 使用场景: RDBMS ==> Sqoop ==> Hadoop 分散在各 ...
- 大数据——Flume安装配置和使用
Flume安装配置和使用 Flume安装和配置 测试 监控端口数据 监控文件信息 监控文件夹中的新文件 监控文件写入HDFS中 监控文件上传到HDFS并去除首条字段信息(拦截器) 内置拦截器 自定义拦 ...
- Flume 安装使用(自己总结) 吐槽CSDN 对Markdown 的mermaid 语法支持不完整
Flume 安装使用(自己总结) 准备工作 安装JDK8 # 下载JDK 8 wget --no-cookies --no-check-certificate --header \ "Coo ...
- CDH大数据平台搭建之FLUME安装
CDH大数据平台搭建之FLUME安装 一.下载 二.安装及配置 1.解压 2.重命名文件夹 3.修改配置文件 一.下载 1.官网下载 2.网盘下载 提取码:cdh5 备注:官网下载的是apache版本 ...
- flume案例-网络数据采集-Flume安装
Flume 的安装部署 下载解压修改配置文件 下载地址: http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.g ...
- Flume安装(单节点)
Flume单节点的安装非常简单. 1.下载 2.解压 3.配置环境变量FLUME_HOME 4.flume-env.sh配置JAVA_HOME 具体步骤 下载 http://flume.apache. ...
- Flume篇---Flume安装配置与相关使用
一.前述 Copy过来一段介绍Apache Flume 是一个从可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制.flume具有高可用, ...
- Flume安装部署,采集方案配置文件编写案例,启动agent采集数据
1.2 Flume实战案例 1.2.1 Flume的安装部署 1.Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压 tar -zxvf ...
- Flume安装及几个入门案例
安装 1.下载 http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 2.上传到指定的服务器(m ...
最新文章
- linux_磁盘配额
- 基础练习 数列排序 c语言
- JAVA复习5(总结+循环链表)
- IDEA创建第一个Spring Boot项目
- 利用 TFLearn 快速搭建经典深度学习模型
- python3.7怎么用ghost.py_python ghost.py使用笔记
- mysql子查询去重,将MySQL去重操作优化到极致之三弹连发(一):巧用索引与变量...
- WordPress收费下载插件Erphpdown v11.0
- 实现LAYERED窗口
- android obb在哪,未解决:Android 使用obb步骤
- 使用Travis-CI自动部署博客
- FreeRTOS应用——消息队列
- 图片放大无失真算法 opengles实现
- S32K144(7)UART
- 使用vm虚拟机安装黑群晖服务并实现公网访问练习
- 4.3 设计一个完善的响应式系统
- appstore审核指南
- html5 data src显示,srcdoc =“…”和src =“data:text/html,…”之间的区别是什么?
- Xilinx Platfrom Cable Usb驱动安装
- 连接共享打印机报0x000000709
热门文章
- 特斯拉OUT了?荷兰ZEP公司太阳能瓦已在多国销售
- [Camera Drv]开video dynamic framerate,特定场景下video encode时会闪屏 - MTK物联网在线解答 - 技术论坛
- Docker Swarm集群与Kubernetes的搭建与试用
- 初识 Vertica ,看完白皮书,我都发现了啥【文末赠书】
- C++入门之命名空间、缺省函数、重载函数及引用
- 云南省二级c计算机考试试题,2014云南省计算机等级考试试题 二级C试题最新考试试题库(完整版)...
- 2022重庆幼教产业展览会|高科技玩具益智解压玩具博览会
- Vue动态赋值video视频
- 姚洋:建议国家购买三四线空置房 再低价出售给进城农民
- 电子基础篇5---三极管