0623-6.2.0-如何在CDH中安装CFM
Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f
1 文档编写目的
2019年4月15日,Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management,即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品,Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用,包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后,对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中,CEM和CFM就是一次开始,它们为IOT场景的边缘管理和边缘数据搜集带来了可能。具体参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》。
本文Fayson主要介绍如何在CDH6.2中安装CFM,CFM中的核心组件就是Apache NiFi,对于NiFi的介绍可以参考前面的文章《0622-什么是Apache NiFi》。
- 测试环境
1.Redhat7.4
2.采用root用户操作
3.集群未启用Kerberos
4.CM/CDH6.2
5.CFM1.0
6.NiFi1.9
2 CFM安装前置
2.1 系统需求
1.JDK8 - 如果你的集群已经配置为JDK8,你可以跳过该步骤。否则你需要在安装CFM前先安装JDK8。本文的环境为CDH6.2,默认只支持JDK8,所以跳过。
2.Zookeeper – CDH集群需要添加Zookeeper并且保证可用。
3.CFM支持的CM和CDH版本为6.x或者5.5.6以上。本文假设你已经安装好了一个CDH集群,如果没有,请先准备相应的CDH集群。
4.Parcel的安装方式需要将CFM安装到由Cloudera Manager管理的一台主机上,所以你在进行本文后面的操作时,需要先加入一台机器到CDH集群中,可以参考《0072-CDH安装前置准备》和《0089-如何给CDH集群增加Gateway节点》。本文直接安装到Cloudera Manager节点,所以跳过。
2.2 Cloudera服务支持
3 部署CFM Parcel包
1.下载CFM的Parcel,下载地址如下
http://archive.cloudera.com/CFM/parcels/1.0.0.0/manifest.json
http://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcel
http://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcel.sha1
2.将下载的文件部署在Apache所在服务器的/var/www/html/cfm目录下
[root@ip-172-31-6-83 ~]# cd /var/www/html/cfm
[root@ip-172-31-6-83 cfm]# ll
total 1694724
-rw-r--r-- 1 root root 1735385749 Mar 30 07:19 CFM-1.0.0.0-el7.parcel
-rw-r--r-- 1 root root 41 Apr 20 01:05 CFM-1.0.0.0-el7.parcel.sha
-rw-r--r-- 1 root root 3132 Mar 30 07:20 manifest.json
[root@ip-172-31-6-83 cfm]#
3.通过浏览器测试是否部署成功
看到以上界面说明部署成功。
4 安装CSD文件
1.下载CSD文件,使CM支持CFM安装,文件下载地址:
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFI-1.9.0.1.0.0.0-90.jar
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFICA-1.9.0.1.0.0.0-90.jar
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFIREGISTRY-0.3.0.1.0.0.0-90.jar
2.将下载好的三个jar文件放在CM所在服务器的/opt/cloudera/csd目录下
[root@ip-172-31-6-83 cfm]# cd /opt/cloudera/csd
[root@ip-172-31-6-83 csd]# chown cloudera-scm:cloudera-scm NIFI*.jar
[root@ip-172-31-6-83 csd]# chmod 644 NIFI*.jar
[root@ip-172-31-6-83 csd]# ll
total 68
-rw-r--r-- 1 cloudera-scm cloudera-scm 29897 Mar 30 07:19 NIFI-1.9.0.1.0.0.0-90.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 9320 Mar 30 07:19 NIFICA-1.9.0.1.0.0.0-90.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 23145 Mar 30 07:19 NIFIREGISTRY-0.3.0.1.0.0.0-90.jar
[root@ip-172-31-6-83 csd]#
3.重启cloudera-scm-server服务
[root@ip-172-31-6-83 csd]# systemctl restart cloudera-scm-server
[root@ip-172-31-6-83 csd]# systemctl status cloudera-scm-server
● cloudera-scm-server.service - Cloudera CM Server ServiceLoaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)Active: active (running) since Tue 2019-05-07 11:48:43 CST; 39s agoMain PID: 11137 (java)CGroup: /system.slice/cloudera-scm-server.service└─11137 /usr/java/jdk1.8.0_181-cloudera/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:lib/* -server -Dlog4j.configuration...May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service: main process exited, code=exited, status=143/n/a
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Unit cloudera-scm-server.service entered failed state.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service failed.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Started Cloudera CM Server Service.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Starting Cloudera CM Server Service...
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
May 07 11:48:45 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system prope...tion logging.
Hint: Some lines were ellipsized, use -l to show in full.
[root@ip-172-31-6-83 csd]#
5 配置CFM的Parcle库
1.配置Parcel库
2.下载、分配并激活
3.完成激活
6 安装CFM服务
6.1 安装NiFi Toolkit CA
Apache NiFi Certificate Authority服务为Apache NiFi和Apache NiFi Registry提供证书授权服务。
1.进入CM主页,选择集群点击“添加服务”
2.进入添加服务引导界面, 选择“NiFi CA Service”,点击“继续”
3.选择NiFi Toolkit和Gateway节点,根据实际情况选择,Fayson这里选择的是使用CM节点,点击“继续”。
4.输入NiFi CA Token,点击“继续”
注意:token必须16个字符或以上。
5.首次运行NiFi CA,点击“继续”
6.完成NiFi CA服务的安装
点击完成退出。
6.2 安装NiFi Registry
Apache NiFi Registry是一个补充应用程序,为一个或多个NiFi和/或MiNiFi实例的共享资源的存储和管理提供了一个中心位置。
1.进入CM主页,选择集群点击“添加服务”
2.进入添加服务引导界面, 选择“NiFi Registry”,点击“继续”
3.选择NiFi Registry节点,根据实际情况选择,可以选择多个,Fayson这里选择的是使用CM节点,点击“继续”。
4.保持默认配置,不做修改,点击“继续”
5.首次运行NiFi Registry,点击“继续”
6.完成NiFi Registry服务的安装
点击完成退出。
6.3 安装NiFi
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计,它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。简单地说,NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流。 基于WEB图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集、处理等功能。
1.进入CM主页,选择集群点击“添加服务”
2.进入添加服务引导界面, 选择“NiFi”,点击“继续”
3.选择NiFi的依赖服务,这里我们选择全集包括NiFi CA和Zookeeper,尤其是对于NiFi集群需要使用到Zookeeper,点击“继续”。
4.选择NiFi节点,根据实际情况选择,可以选择多个,Fayson这里选择的是使用CM节点,点击“继续”。
5.保持默认配置,不做修改,点击“继续”
6.首次运行NiFi Registry,点击“继续”
7.完成NiFi Registry服务的安装
点击完成退出。
6.4 重启Cloudera Management Service
1.重启CMS,否则CM无法监控新增的三个服务包括NiFi Toolkit CA,NiFi Registry和NiFi的状态,会显示为灰色问号。
重启完毕。
2.回到CM主页查看3个NiFi相关服务运行正常。
7 登录NiFi的Web页面
使用http://<NiFi_HostName>:8080/nifi登录到NiFi画面:
至此,CFM安装成功。
0623-6.2.0-如何在CDH中安装CFM相关推荐
- cdh 安装_0623-6.2.0-如何在CDH中安装CFM
1.文档编写目的 2019年4月15日,Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management,即CFM和CEM ...
- shell中竖线的作用_如何在 Linux 中安装、配置和使用 Fish Shell?
每个 Linux 管理员都可能听到过 shell 这个词.你知道什么是 shell 吗? 你知道 shell 在 Linux 中的作用是什么吗? Linux 中有多少个 shell 可用? -- Ma ...
- 如何在Windows中安装Python?
如何在Windows中安装Python? 1. Python的安装 官网下载:https://www.python.org/downloads/windows/ 点开上面的链接,会发现有很多版本. 首 ...
- linux内核如何安装vim,如何在Linux 中安装和使用 PacVim?
描述 你好,Vim用户!今天,我偶然发现了一个很酷的程序来提高 Vim 的使用技巧.Vim 是编写和编辑代码的绝佳编辑器.然而,你们中的一些人(包括我)仍在陡峭的学习曲线中挣扎.再也不用了!来看看 P ...
- rust安装教程linux,如何在 Linux 中安装 Rust 编程语言
Rust 通常被称为 rust-lang.Rust 是一个由 Mozilla Research 赞助的通用的.多范式.现代的.跨平台和开源系统编程语言. 它旨在实现安全性.速度和并发性等目标. Rus ...
- Linux上下载chronyd安装包,如何在Linux中安装和使用Chrony时间同步
原标题:如何在Linux中安装和使用Chrony时间同步 来自:Linux迷 https://www.linuxmi.com/ Chrony是网络时间协议(NTP)的灵活实现.它用于同步来自不同NTP ...
- linux fish颜色配置,如何在 Linux 中安装、配置和使用 Fish Shell?
(给Linux爱好者加星标,提升Linux技能) 英文:Magesh Maruthamuthu,翻译:Linux中国/MK linux.cn/article-10622-1.html 每个 Linux ...
- 软件部署在不同linux上,如何在Linux中安装和部署keepalived
如何在Linux中安装和部署keepalived 发布时间:2020-05-27 13:56:19 来源:亿速云 阅读:407 作者:鸽子 keepalived的部署 keepalived在很多高可用 ...
- 如何在wsl中安装kotlin编译器(简单有效)
文章目录 如何在wsl中安装kotlin编译器 安装SDKMAN 安装kotlin 命令行解释器 新建kts文件运行测试 参考 如何在wsl中安装kotlin编译器 笔者系统 windows 11 w ...
最新文章
- Java这个高级特性,很多人还没用过!
- mysql数据库 web asp.net,使用基于asp.net web的应用程序的mysql数据库
- .NET Core IdentityServer4实战-开篇介绍与规划
- 转 在b/s开发中经常用到的javaScript技术
- html滚动菜单置顶,javascript改变position值实现菜单滚动至顶部后固定
- C语言socket设置超时的几种方法
- 【Linux】一步一步学Linux——umask命令(111)
- instance of 泛型
- python中的一个现象,db.commit和db.commit()
- 外卖类应用的竞争与趋势
- 矩形窗、汉明窗、汉宁窗的频率响应图
- 【华为机试题 HJ22】汽水瓶
- [混迹IT职场系列]一、转正的那些事儿
- 实用工具系列 - Pycharm安装下载使用
- 报错Installation failed with message INSTALL_FAILED_DUPLICATE_PERMISSION perm=com.tencent.qcloud.timch
- 【绝对经典】骂人口误.......................
- Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.
- Latex学习笔记 (Ex4)希腊字母、罗马字母一览表
- 关于HOOK,如何通过钩子截获指定窗口的所有消息 SetWindowsHookEx demo
- linux内存不足导致tomcat宕机