Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装
一、nifi基本配置
1. 修改各节点主机名,修改/etc/hosts文件内容。
192.168.0.120master192.168.0.121slave1192.168.0.122 slave2
具体请参考《Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。》
2. 安装zookeeper分布式集群
具体请参考《Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zookeeper-3.4.12》
3. 下载 wget http://mirrors.tuna.tsinghua.edu.cn/apache/nifi/1.7.1/nifi-1.7.1-bin.tar.gz
到/opt下
tar -zvxf nifi-1.7.1-bin.tar.gz cd nifi-1.7.1chown -R spark:spark /opt/nifi-1.7.1
4. jdk配置:nifi新版本要求jdk版本必须1.8以上
目录:bin/nifi.env.sh
export JAVA_HOME=/home/user/opt/jdk1.8.0_144
注意:忽略此项配置,nifi将使用系统默认Java环境启动。
5. nifi运行内存配置
目录:conf/bootstarp.conf
java.arg.2=-Xms512m
java.arg.3=-Xmx20480m
备注:
1)根据服务器性能合理设置nifi内存2)这里是虚拟机内存较小,就没有设置
6. nifi日志配置
目录:conf/logback.xml
7. nifi端口配置
目录:conf/nifi.properties
nifi.web.http.port=18083
默认为8080端口。
8. nifi基本命令
nifi.sh start 启动
nifi.sh stop 关闭
nifi.sh restart 重启
nifi.sh status 状态
以上基本配置完成,可单节点模式启动nifi。
二、nifi集群配置
基于上边的配置基础之上,修改nifi配置:./conf/nifi.properties
1. 首先在master节点上配置./conf/nifi.properties
》》》》》》》》》》》》》Master配置》》》》》》》》》》》》》》
#设置WEB UI横幅文字 nifi.ui.banner.text=Nifi-1.7.1-Cluster #是否启动内置的zk nifi.state.management.embedded.zookeeper.start=false#配置zk节点 nifi.zookeeper.connect.string=master:2181,slave1:2181,slave2:2181#这里配置为非安全性的nifi nifi.cluster.protocol.is.secure=falsenifi.cluster.is.node=truenifi.cluster.node.address=master nifi.cluster.node.protocol.port=9999nifi.cluster.node.protocol.threads=10nifi.cluster.node.event.history.size=25nifi.cluster.node.connection.timeout=5sec nifi.cluster.node.read.timeout=5sec nifi.cluster.firewall.file=#各节点Site2Site协议接口配置 nifi.remote.input.host=master nifi.remote.input.secure=falsenifi.remote.input.socket.port=10443nifi.remote.input.http.enabled=truenifi.remote.input.http.transaction.ttl=30sec#web ui nifi.web.http.host=master nifi.web.http.port=18083
》》》》》》》》》》》》》Master配置》》》》》》》》》》》》》》
2. 然后在slave1,slave2节点上配置./conf/nifi.properties
scp -r /opt/nifi-1.7.1/*root@slave1:/opt/nifi-1.7.1/ scp -r /opt/nifi-1.7.1/* root@slave2:/opt/nifi-1.7.1/
Slave1:
nifi.remote.input.host=slave1 nifi.web.http.host=slave1 nifi.cluster.node.address=slave1
Slave2:
nifi.remote.input.host=slave2 nifi.web.http.host=slave2 nifi.cluster.node.address=slave2
3.启动
./bin/nifi.sh start
三个节店(master、slave1、slave2)都要执行。
执行完后验证是否都正常启动方式:
1)JPS查看是否三台服务器都包含进程:
[spark@master bin]$ jps2162RunNiFi2178NiFi1413QuorumPeerMain2330 Jps
2)同时查看三台服务器的NIFI运行状态:
master:
[spark@master bin]$ ./nifi.shstatusJava home:/opt//jdk1.8.0_171 NiFi home: /opt/nifi-1.7.1Bootstrap Config File:/opt/nifi-1.7.1/conf/bootstrap.conf2018-08-06 22:46:44,950 INFO [main] org.apache.nifi.bootstrap.Command Apache NiFi is currently running, listening to Bootstrap on port 45484, PID=2178
slave1:
[spark@slave1 bin]$ ./nifi.shstatusJava home:/opt//jdk1.8.0_171 NiFi home: /opt/nifi-1.7.1Bootstrap Config File:/opt/nifi-1.7.1/conf/bootstrap.conf2018-08-06 22:46:17,152 INFO [main] org.apache.nifi.bootstrap.Command Apache NiFi is currently running, listening to Bootstrap on port 37934, PID=1870[spark@slave1 bin]$
slave2:
[spark@slave2 bin]$ ./nifi.shstatusJava home:/opt//jdk1.8.0_171 NiFi home: /opt/nifi-1.7.1Bootstrap Config File:/opt/nifi-1.7.1/conf/bootstrap.conf2018-08-06 22:46:26,521 INFO [main] org.apache.nifi.bootstrap.Command Apache NiFi is currently running, listening to Bootstrap on port 41473, PID=1689[spark@slave2 bin]$
3)此时,如果正常运行集群模式,在通过UI在一个IP下创建一个Process,则在另外两个节店也可以查看到该节店创建的内容。
master
slave1
slave2
参考:《https://blog.csdn.net/qq_19397397/article/details/80007806》
Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装相关推荐
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。...
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十九)ES6.2.2 安装Ik中文分词器
注: elasticsearch 版本6.2.2 1)集群模式,则每个节点都需要安装ik分词,安装插件完毕后需要重启服务,创建mapping前如果有机器未安装分词,则可能该索引可能为RED,需要删除后 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十八):kafka0.10.1 内置性能测试API用法示例...
消费者测试: ./kafka-consumer-perf-test.sh --zookeeper vm10.60.0.11.com.cn:2181,vm10.60.0.7.com.cn:2181,vm ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十八)ES6.2.2 增删改查基本操作
#文档元数据 一个文档不仅仅包含它的数据 ,也包含 元数据 -- 有关 文档的信息. 三个必须的元数据元素如下: ## _index 文档在哪存放 ## _type 文档表示的对象类别 ...
- Java+大数据开发——Hadoop集群环境搭建(二)
1. MAPREDUCE使用 mapreduce是hadoop中的分布式运算编程框架,只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序 2. Demo开发--wo ...
- 大数据系列(hadoop) 集群环境搭建二
转载于:https://www.cnblogs.com/YellowstonePark/p/7699127.html
- kafka 基础知识梳理及集群环境部署记录
一.kafka基础介绍 Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特 ...
- 高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper)
高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...
最新文章
- 循环for语句 if语句
- 部署在IIS上的网站如何调试
- apache 修改最大连接数
- GetLastError编号含义
- python【蓝桥杯vip练习题库】ALGO-118连续正整数的和(枚举优化)
- Android组件化开发实践(九):自定义Gradle插件
- html页面返回原理,浏览器输入URL到界面显示(HTML渲染)发生了什么?
- java 获取视频信息_Java获取视频参数信息
- WEB交互的划时代革新--HTML5中WebSocket应用【1】
- json学习之三:JSONArray的应用
- ubuntu mysql5.5编码_Ubuntu下MySQL5.5编码设置
- 2021年第四届安洵杯WriteUp(转)
- C语言 使用DFT得到信号幅度谱
- Word技巧和快捷键
- DirectX11教程5-贴图
- 一些.NET的开源项目资料
- 【Arch】Android 7 Nougat源码目录结构分析
- Google Chrome谷歌浏览器去掉右上角更新提示图标
- uni-app App和H5平台上传视频截取视频第一帧生成图片
- windows系统“双击”的键盘快捷键是什么