参考：https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Installation/CMInstall-Overview.html#concept_nb5_c3m_25

通过Cloudera Manager部署StreamSets。

环境：

服务	版本
操作系统	CentOS7.8
Cloudera Manager	6.3.1
CDH	6.3.2
StreamSets	3.16.1

部署步骤：

1、安装StreamSets Custom Service Descriptor(CSD)。

2、手动安装parcel和校验文件。

3、分发和激活StreamSets Parcel。

4、配置StreamSets服务。

下面将安装步骤进行详细说明。

安装StreamSets CSD

1、下载CSD

export VERSION="3.16.1"
wget https://archives.streamsets.com/datacollector/$VERSION/csd/STREAMSETS-$VERSION.jar

2、复制CSD文件到Local Descriptor Repository Path，默认是 */opt/cloudera/csd *。

3、设置文件用户和权限

chown cloudera-scm:cloudera-scm /opt/cloudera/csd/STREAMSETS*.jar
chmod 644 /opt/cloudera/csd/STREAMSETS*.jar

4、重启Cloudera Manager，命令：

systemctl restart cloudera-scm-server

5、导航到Cloudera Manager的Home页，重启 Cloudera Management Service。

手动安装parcel和校验文件

1、下载文件

export VERSION="3.16.1"
wget https://archives.streamsets.com/datacollector/$VERSION/parcel/activation/STREAMSETS_DATACOLLECTOR-$VERSION-el7.parcel
wget https://archives.streamsets.com/datacollector/$VERSION/parcel/activation/STREAMSETS_DATACOLLECTOR-$VERSION-el7.parcel.sha

2、复制CSD文件到Cloudera Manager Local Parcel Repository Path，默认是 */opt/cloudera/parcel-repo *。

3、设置文件用户

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/STREAMSETS_DATACOLLECTOR*

分发和激活StreamSets Parcel

1、导航到Parcel页

2、分发

等待分发完成。

3、激活

等待激活完成。

配置StreamSets服务

安装StreamSets服务

添加服务中已经可以看到StreamSets了，按照Cloudera Manager添加服务的步骤进行添加即可。

添加完成后，可以在集群服务列表看到。

(可选)启用Kerberos Client

1、StreamSets启用Kerberos Client

保存配置
2、生成丢失的凭据
管理 -> 安全 -> Kerberos凭据 -> 生成丢失的凭据

3、重启StreamSets服务

配置用户认证

配置file-based认证

使用默认的form-realm方式。
在Cloudera Manager中，编辑StreamSets服务的配置：datacollector.users
格式：

<user>: MD5:<password>[,user,<role>,<role>,...,<group:group1>,<group:group2>,....]

示例：

admin:   MD5:0192023a7bbd73250516f069df18b500,user,admin
xingweidong:   MD5:5991e036478a4113ae930cb0910160bf,user,manager,creator,group:dev

配置LDAP认证

连接FreeIPA的LDAP服务失败，以后有时间再研究。

Cloudera Manager部署StreamSets相关推荐

Cloudera Manager部署配置Phoenix
Phoenix,从直观上来看,是构建在HBase值上的SQL接口,在使用上和关系型数据库非常接近,同时具备大数据分析和低延迟的特性.Phoenix目前在Hadoop操作分析领域应用很广泛. Phoen ...
使用Cloudera Manager部署oozie
使用Cloudera Manager部署oozie 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.进入CM服务安装向导 2>.选择要添加的oozie服务 3> ...
通过Cloudera Manager部署CDH5.15.1的webUI界面详解
通过Cloudera Manager部署CDH5.15.1的webUI界面详解作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客CDH的部署完全通过Cloudera Mana ...
Cloudera Manager安装streamsets
文章目录 1, 下载streamsets的parcel文件 2, 使用cloudera manager安装parcel a, 分发parcel报错报错后,下载好的parcel被删除 b, 错误解决 ...
[CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本
原文: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html# ...
Cloudera Manager 5.14.X 安装部署（上）
1. 安装部署CM 注意事项服务器的IP地址为静态IP: 系统根目录至少50G: 主机名建议统一小写: python版本为2.7.X: 使用root用户安装,或者具有sudo权限的其他用户. 所需软 ...
Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...
Centos6.9 下的 CM（Cloudera Manager）CDH 大数据环境部署
(系统采用CentOS-6.9-x86_64-bin-DVD1.iso镜像,百度下载方式) 环境采用的是一台物理机ESXI 虚拟镜像系统下三台虚拟机 n1.n2.n3 (n1 是master&am ...
离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务
Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera ...

Cloudera Manager部署StreamSets