flume linux环境搭建,linux安装flume及问题
1.安装
1)下载:wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
解压tar -zxvf apache-flume-1.6.0-bin.tar.gz
创建软链接 ln -s apache-flume-1.6.0-bin flume
2)配置环境变量
vim ~/.bash_profile
加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin
3)验证是否安装成功
flume-ng version,若显示如下类似信息即成功了
Warning: $HADOOP_HOME is deprecated.
Warning: $HADOOP_HOME is deprecated.
Flume 1.6.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
From source with checksum b29e416802ce9ece3269d34233baf43f4)基本概念:
Flume由source,channel,sink三部分组成
Agent:使用JVM运行Flume,一般每台机器启动一个agent,一个agent可以包含多个sources和sinks
Client:产生数据,独立线程
Source:从Client收集数据,并将数据传输给Channel
Sink:从Channel接收数据
Channel:连接source 和sinks,缓存数据
Events:日志记录等
5)问题
如果执行flume-ng 的时候执行报错:Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty
一般来说是由于jdk版本造成的,改为JDK7版本就好了
错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty或者Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty
一般来说是由于装了HBASE等工具的原因
将hbase的hbase.env.sh的一行配置注释掉
# Extra Java CLASSPATH elements. Optional.
#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
# Extra Java CLASSPATH elements. Optional.
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
错误参考:http://blog.csdn.net/senvil/article/details/42526947
flume linux环境搭建,linux安装flume及问题相关推荐
- go linux环境搭建,Linux 下 Go 环境搭建以及 Gin 安装
专栏地址:技术专栏 同时,也欢迎关注我的微信公众号 AlwaysBeta,更多精彩内容等你来. 将安装包解压: tar -C /usr/local -xzf go1.11.4.linux-amd64. ...
- Linux环境搭建----VMware安装虚拟机
一.VMare虚拟机安装与使用 1.1 VMware简介 (1)VMware是一个虚拟PC的软件,可以在现有的操作系统上虚拟出一个新的额硬件环境,相当于模拟出一个新的PC (2)WMware官方网站: ...
- LINUX环境搭建:安装中文定制版UBUNTU 10.10
昨天看到了一篇消息介绍中文定制版UBUNTU的: 早在2010年10月份的时候Canonical就表示,Ubuntu中国定制版最晚将在2011年4月份推出.日前,Ubuntu创始人Mark Shutt ...
- Linux环境搭建记录——GitLab安装
Linux环境搭建记录 GitLab安装 GitLab安装 更多GitLab详细信息请参考:GitLab官方文档 分步指南 获取GitLab资源 可以访问 https://mirrors.tuna.t ...
- Linux 下ffmpeg的环境搭建与安装
Linux下ffmpeg的环境搭建与安装 背景 [FFmpeg是什么] 1· FFmpeg是一套可以用来记录.转换数字音频.视频,并能将其转化为流的开源软件.采用LGPL或GPL许可证,提供了录制.转 ...
- springcloud学习笔记---环境搭建--Linux下jdk安装
springcloud学习笔记-环境搭建–Linux下jdk安装 1.官网下载jdk1.11 链接: https://pan.baidu.com/s/1vZ4PoJAnwczkRICfCNKHAA 提 ...
- Linux环境搭建记录——Jenkins安装
Linux环境搭建记录 Jenkins安装 Jenkins升级 Jenkins插件离线安装 构件Jenkins项目 Jenkins安装 更多Jenkins详细信息请参考:Jenkins官方文档 分步指 ...
- 大数据学习之Linux环境搭建(导航)
环境搭建过程网上有挺多,但在安装过程,难免会出现一些其他错误,所以是对自己在搭建环境过程中的一个记录. 首先是VMware软件的安装,没什么说的,一直"下一步"就好了,虚拟机下安装 ...
- Linux(一)-- Linux环境搭建
Linux环境搭建 一.虚拟机安装 1.下载地址 https://my.vmware.com/web/vmware/info/slug/desktop_end_user_computing/vmwar ...
最新文章
- Centos6/7下静默安装oracle10g
- SAP MM盘点流程里如何处理事务代码MI11 Recount过的盘点凭证?
- Martini 中的 Handler
- 5GS 协议栈 — N1 接口的协议栈(NAS)
- 微信小程序 - vant popup弹出层阻止底层页面滑动
- 《统计学习方法》代码更新了-(github的star数5300+)
- staf工作笔记-对STAX进行扩展(配置并运行官方的Delay实例)
- BP神经网络:feedforwardnet版回归预测
- ZED2 ROS下bag包的录制与回放数据
- RPLIDAR A1激光雷达学习笔记
- JZOJ5857. 【NOIP提高组模拟A组2018.9.8】没有上司的舞会
- CodeForces - 1538G Gift Set - ( 二分 )
- Java如何设置word中某段文字的字体/段落样式
- 使用ssr退出后,电脑能连上无线网,但是不能上网的解决方法
- Android高手进阶教程(一)-------Android常用名令集锦(图文并茂)!
- TeaTalk·Online 大数据+云原生,再度风云起
- 2022蓝牙耳机大盘点测评,2022年最新蓝牙耳机排行榜
- 小白入门IT不知道改选哪门技术?Java是你的不二之选
- VBA·Function的基础使用
- 一个wooyun正则