在cdh平台上创建新用户

操作背景

cdh平台一般上使用root去安装平台，hadoop中权限是使用hdfs用户去操作的。所以常常会出现用户访问权限问题，如下图，权限没有配置好，即使使用root用户也会有权限问题。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQp4c5gZ-1586510736131)(44A9CF2E0B514AA4AA07AB35C5CB5B23)]

尝试修改

添加cdp用户

useradd cdp  -u 1001 -d /home/cdp/

把cdp用户添加到hadoop组,并设置密码

usermod -a -G hadoop cdp
passwd cdp

密码为cdp

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XtCoeJqq-1586510736132)(37700EF777AF478FBC2E02FE2A9BE792)]

修改sqoopimport目录的访问权限

sudo -u hdfs hdfs dfs -chmod 775 /sqoopimport/$sudo -u hdfs hdfs dfs -chmod 775 /sqoopimport
[sudo] password for cdp:
cdp is not in the sudoers file.  This incident will be reported.

添加cdp用户到sudoers中

sudo vim /etc/sudoers#将hadoop组加入到sudoer
在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g7luQuko-1586510736133)(ED703858F0914D38961BBA543C39EF32)]

使用cdp用户修改目录权限
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N7pdI4jp-1586510736133)(B1854AB8999B41AEB64A33142B3202BB)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VkCeW8Ly-1586510736134)(5FBBA96057D84414B951369E8D6649C0)]
所以权限还是不对

更换用户组

查看hdfs权限配置
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qrWDoz16-1586510736134)(2E62D3F951D641F5902A2AB7AF3238A2)]
在hdfs的超级用户hdfs的组是supergroup，所以尝试把用户添加到supergroup组中

## 在linux中添加supergroup组
groupadd supergroup
## 把cdp添加supergroup组中
usermod -a -G supergroup cdp
## 刷新用户信息到各个节点
su - hdfs -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"

cdp可以正常使用了
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jUYMxgXF-1586510736134)(16D29AE775124B6FAD378D4DB685E52D)]

补充linux用户权限知识

1. 查看用户信息

whoami #查看当前登录用户名groups #查看当前登录用户的组内成员groups test #查看test用户所在的组，以及组内成员cat /etc/passwd #(文件格式是：用户名:口令:用户标识号:组标识号:注释性描述:主目录:登录Shell)cat /etc/group （#文件格式是： 组名:口令:组标识号:组内用户列表）

2. 用户操作（添加，删除，修改）

2.1 添加 useradd

格式：useradd [-d home] [-s shell] [-c comment] [-m [-k template]] [-f inactive] [-e expire ] [-p passwd] [-r] name

主要参数

-c：加上备注文字，备注文字保存在passwd的备注栏中。

-d：指定用户登入时的主目录，替换系统默认值/home/<用户名>

-D：变更预设值。

-e：指定账号的失效日期，日期格式为MM/DD/YY，例如06/30/12。缺省表示永久有效。

-f：指定在密码过期后多少天即关闭该账号。如果为0账号立即被停用；如果为-1则账号一直可用。默认值为-1.

-g：指定用户所属的群组。值可以使组名也可以是GID。用户组必须已经存在的，期默认值为100，即users。

-G：指定用户所属的附加群组。

-m：自动建立用户的登入目录。

-M：不要自动建立用户的登入目录。

-n：取消建立以用户名称为名的群组。

-r：建立系统账号。

-s：指定用户登入后所使用的shell。默认值为/bin/bash。

-u：指定用户ID号。该值在系统中必须是唯一的。0~499默认是保留给系统用户账号使用的，所以该值必须大于499。

特例：无法使用shell，且其用户目录至/var/servlet/service

useradd tomcat  -d /var/servlet/service -s /sbin/nologin

2.2 删除用户

userdel username
userdel -f  username #连同用户目录一并删除

2.3 用户权限和用户组修改

文件用户和用户组修改：chown

权限修改：chmod

-a|--append  ##把用户追加到某些组中，仅与-G选项一起使用
-c|--comment ##修改/etc/passwd文件第五段comment
-d|--home    ##修改用户的家目录通常和-m选项一起使用
-e|--expiredate  ##指定用户帐号禁用的日期，格式YY-MM-DD
-f|--inactive    ##用户密码过期多少天后采用就禁用该帐号，0表示密码已过期就禁用帐号，-1表示禁用此功能，默认值是-1
-g|--gid     ##修改用户的gid，改组一定存在
-G|--groups  ##把用户追加到某些组中，仅与-a选项一起使用
-l|--login   ##修改用户的登录名称
-L|--lock    ##锁定用户的密码
-m|--move-home   ##修改用户的家目录通常和-d选项一起使用
-s|--shell   ##修改用户的shell
-u|--uid     ##修改用户的uid，该uid必须唯一
-U|--unlock  ##解锁用户的密码

3.CDH 中用户信息

3.1 按照功能汇总

用户名	密码	说明
cloudera-scm	-	cloudera-scm-server服务的用户
admin	自定义	cloudera manager管理员用户
scm	自定义	cm数据库的用户名和密码
无	自定义	Kerberos 数据库
admin/admin@HADOOP.COM（自定义）	自定义	Kerberos database管理员
cloudera-scm/admin@HADOOP.COM（自定义）	自定义	Cloudera manager管理kerberos的
无	自定义	Ldap数据库
Flume，hdfs，solr zookeeper，llama，httpfs，mapred， sqoop，yarn，kms，hive，sqoop2，oozie，hbase， sentry，impala，spark，hue，ldap	无	大数据集群中各服务用户
hdfs@HADOOP.COM和hive@HADOOP.COM	自定义	大数据集群的超级用户（权限管理使用）
duan(自定义)	无	大数据集群普通用户，用户ID>=1000
duan@HADOOP.COM	自定义	Kerberos创建用户

3.2 官网文档：https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_network_and_security_requirements.html

Component	Role	Name	Port	Version
Cloudera Manager	Cloudera Manager Server		7182	TLS 1.2
Cloudera Manager	Cloudera Manager Server		7183	TLS 1.2
Flume			9099	TLS 1.2
Flume		Avro Source/Sink		TLS 1.2
Flume		Flume HTTP Source/Sink		TLS 1.2
HBase	Master	HBase Master Web UI Port	60010	TLS 1.2
HDFS	NameNode	Secure NameNode Web UI Port	50470	TLS 1.2
HDFS	Secondary NameNode	Secure Secondary NameNode Web UI Port	50495	TLS 1.2
HDFS	HttpFS	REST Port	14000	TLS 1.1, TLS 1.2
Hive	HiveServer2	HiveServer2 Port	10000	TLS 1.2
Hue	Hue Server	Hue HTTP Port	8888	TLS 1.2
Impala	Impala Daemon	Impala Daemon Beeswax Port	21000	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Impala	Impala Daemon	Impala Daemon HiveServer2 Port	21050	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Impala	Impala Daemon	Impala Daemon Backend Port	22000	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Impala	Impala StateStore	StateStore Service Port	24000	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Impala	Impala Daemon	Impala Daemon HTTP Server Port	25000	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Impala	Impala StateStore	StateStore HTTP Server Port	25010	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Impala	Impala Catalog Server	Catalog Server HTTP Server Port	25020	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Impala	Impala Catalog Server	Catalog Server Service Port	26000	TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.
Oozie	Oozie Server	Oozie HTTPS Port	11443	TLS 1.1, TLS 1.2
Solr	Solr Server	Solr HTTP Port	8983	TLS 1.1, TLS 1.2
Solr	Solr Server	Solr HTTPS Port	8985	TLS 1.1, TLS 1.2
Spark	History Server		18080	TLS 1.2
YARN	ResourceManager	ResourceManager Web Application HTTP Port	8090	TLS 1.2
YARN	JobHistory Server	MRv1 JobHistory Web Application HTTP Port	19890	TLS 1.2