CM/CDH 问题记录

本文档为使用 CDH 6.3.1 时，记录安装过程/使用中出现的一些问题，供后续备查。
从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费进行访问。之前的在线安装，目前都不能用了。

0. 系统层面的优化设置

在正式安装CDH前，可以提前对系统层面做些优化设置，详见官方文档，主要是以下几个方面：

Disable the tuned Service【关闭系统层面动态优化】
Disabling Transparent Hugepages (THP)【关闭使用透明大页缓存】
Setting the vm.swappiness Linux Kernel Parameter【减少swap交换】
其他的主要是MR相关的，现在集群上使用较少，可以选择不优化

1. CM/CDH 安装包无法下载

由于之前的CM 安装包和CDH parcel 包都不能直接通过cloudera官网下载了，这里需要手动下载相关的安装包，地址详见CM/CDH离线下载包。
下载好后，需要在CM安装集群上找台服务器配置安装包分发服务。参考官方文档CM 或 CDH,以及这篇比较全的文档，这里简单记录下安装包本地分发服务配置过程。

# 1. 下载CM/CDH 离线安装软件包，上传到安装包分发服务所在的服务器上
# 2. 安装、配置安装包分发服务mkdir -p /var/www/html cd /var/www/html# 软连接已下载好的安装包ln -s  /data/cm6.3.1/ cmln -s  /data/cdh6.3.1 cdhln -s  /data/streamset_temp/ streamset# 安装 httpd 和 createrepoyum -y install httpd createrepo# 启动 httpd 服务并设置为开机自启动systemctl start httpd && systemctl enable httpd### 生成 CM RPM# 生成 RPM，注意最后必须有 .cd /var/www/html/cm/ && createrepo .# # 通过浏览器访问了：默认端口 80http://122.112.xxx.16/cm/### 生成 CDH RPM# 生成 RPM，注意最后必须有 .cd /var/www/html/cdh/ && createrepo .# # 通过浏览器访问了：默认端口 80http://122.112.xxx.16/cdh/### 生成 streamset RPM# 生成 RPM，注意最后必须有 .cd /var/www/html/streamset/ && createrepo .# # 通过浏览器访问了：默认端口 80http://122.112.xxx.16/streamset/
# 3. 配置yum安装repo# 所有机器都需要配置vi /etc/yum.repos.d/cloudera-manager.repo# 拷贝如下内容[cloudera-manager]name=cloudera-manager# cm 分发地址baseurl=http://122.112.xxx.16/cm/enabled=1gpgcheck=0# 清理yum clean allyum makecache

随后，在安装引导页面中，使用我们启动安装包分发服务地址即可。

2. 安装 Agents 时，无法接收agent发出的检测信号

之前安装时没截图，在网上找个图吧，内容是差不多的。
首先，按照错误提示排查下，如果还不行的话，比如我这次安装，是去Agent节点上卸载之前安装过的Agent，然后，手动重新安装，问题解决了，参考官方文档。

# CM 节点 检查端口 7182
netstat -anpl | grep 7182
# 所有安装Agent失败的节点
netstat -anpl | grep 9000
netstat -anpl | grep 9001# 手动安装Agent
rpm -qa | grep cloudera
rpm -e --nodeps  cloudera-manager-daemons-6.3.1-1466458.el7.x86_64
rpm -e --nodeps cloudera-manager-agent-6.3.1-1466458.el7.x86_64
# 检查yum repo是否正确配置,并删除遗留的 /etc/yum.repos.d/cloudera-manager.repo.~1~ 等文件
cat /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name = Cloudera Manager, Version
baseurl = http://192.168.1.xx/cm/
gpgcheck = 1
# 在 CM 界面上重试一次；# 如果重试还不成功，手动 yum 安装。安装时只启用cloudera的yum repo，避免yum cache 空间不够失败
yum --disablerepo=* --enablerepo=cloudera* install cloudera-manager-agent -y
vim /etc/cloudera-scm-agent/config.ini  server_host=${cm所在节点}
# 如果安装完成后，但是cm添加host时，还是提示无法安装agent，报错yum repo 网络访问不通，这时：1. 使用 yum repolist 查看所有配置的 repo2. 在 /etc/yum.repos.d 目录下，使用 enabled=0 禁用除了 cloudera 以外其他的yum repo，
# 安装完后，不要启动Agent！！！！，不然会被CM自动纳管了，导致不能添加到新建的CDH集群中。

3. 安装Agent时，一直显示正在获取安装锁，然后失败

# 所有Agent安装失败的节点
rm -rf /tmp/scm_prepare_node.*
rm -rf /tmp/.scm_prepare_node.lock

4. 安装parcels时或启动集群后，提示主机运行状态不良(Host is in bad health)

# 找到 cm_guid 所在位置
find / -name cm_guid
# 删除 cm_guid
rm -rf /var/lib/cloudera-scm-agent/cm_guid
# 重启Agent
systemctl restart  cloudera-scm-agent

5. Hive 中建表语句字段comment中文乱码

1. 首先，确保集群搭建时，Hive 元数据库（默认 metadata 库）的编码为 utf8  ；
2. 然后，登录到hive元数据库中，修改以下字段的编码为 utf8 即可：# root 添加远程登录访问# GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY '1qaz@WSX';alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE mediumtext character set utf8;alter table PARTITION_KEYS modify column PARAM_VALUE mediumtext character set utf8;
3. 删除之前建的表，重新建表即可

6. parcel 包报错哈希验证失败

1. 首先检查本次parcel文件和manifest.json中的hash值是否一致sha1sum /opt/cloudera/parcel-repo/FLINK-1.11.3-BIN-SCALA_2.11-el7.parcel | awk '{ print $1 }'cat FLINK-1.11.3-BIN-SCALA_2.11-el7.parcel.sha
2. 如果两者一致，则可能是 httpd服务的问题 # 修改 /etc/httpd/conf/httpd.conf    添加parcelvim /etc/httpd/conf/httpd.conf #在<IfModule mime_module>模块添加 parcel选项<IfModule mime_module>## TypesConfig points to the file containing the list of mappings from# filename extension to MIME-type.#TypesConfig /etc/mime.types## AddType allows you to add to or override the MIME configuration# file specified in TypesConfig for specific file types.##AddType application/x-gzip .tgz## AddEncoding allows you to have certain browsers uncompress# information on the fly. Note: Not all browsers support this.##AddEncoding x-compress .Z#AddEncoding x-gzip .gz .tgz## If the AddEncoding directives above are commented-out, then you# probably should define those extensions to indicate media types:#AddType application/x-compress .ZAddType application/x-gzip .gz .tgz .parcel #此处添加.parcel3. 重启http服务
[root@localhost bigdata]#systemctl restart httpd
多刷新几次CM管理台，等几分钟。如果不行的话，重启CM管理台

7. 在节点上切换 hdfs 用户时，su hdfs 报错“This account is currently not available”

检查 cat /etc/passwd 文件中 hdfs 账号：

# 所有节点上执行
cat /etc/passwd发现 hdfs 账号显示为 nologin 禁止登陆hdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin
修改 nologin 为 login 即可：vim    /etc/passwd hdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/bin/bash

8. 添加新节点到集群中时，报错 “https://archive.cloudera.com/cdh6/6.3.2/redhat7/yum not registered” 或 “This system is not registered with an entitlement server”

检查/ets/yum.repo.d/目录下关于CM/CDH 的repo文件，保持和集群中现有节点配置相同，重试安装即可

8. 运行StreamSets 报错“There are not enough threads available”

在StreamSets 配置页面，调整：

runner.thread.pool.size=500
max.stage.private.classloaders=500#重启服务即可

9. 在CM界面上移除Kudu tserver 实例后，使用 `kudu cluster ksck localhost`

还能看移除的实例节点ip，日志中也报错“移除的tserver 连接不上”
解决办法：
重启Kudu Master 即可。

10. DataNode 启动后过一段时间后自动退出，提示“无法连接到NameNode”，后台日志提示“ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM”

signal 15含意是使用不带参数的kill命令时终止进程,初步判断，由于文件数据块的原因造成datanode失联，手动执行如下命令
hadoop dfsadmin -refreshNodes

11. kudu 写入时报错`KUDU value too large for column 'goods_desc' (121383 bytes, maximum is 65536 bytes)`

在Kudu 配置页面“gflagfile 的 Tablet Server 高级配置代码段（安全阀）”添加如下：

-unlock_unsafe_flags=true
--max_cell_size_bytes=250000（根据实际调整，但不建议过大）

12. StreamSets binglog origin 写入 kudu 时报错`MANUAL_FLUSH is enabled but the buffer is too big`

这是因为kudu写入时kuduSession客户端对写入的数据条数有限制，默认是4000条，当StreamSets 任务失败后没有及时恢复，导致写入kudu的数据积压没有刷新，出现错误。

如果是kudu client ：
kuduSession.setMutationBufferSpace(20000);
streamsets 的话，因为没有找到kudu 相对应setMutationBufferSpace的配置项，重启kudu后问题解决。

13. StreamSets binglog origin 写入 kudu 时报错``Access denied; you need the SUPER,REPLICATION CLIENT privilege for this operation ```

这是Streamsets 读取mysql binglog 的offset 时，需要相关权限，授权即可：

grant super on *.* to p1@localhost;
grant Replication client,Replication slave on *.* to p1@localhost;

14. 使用调度系统执行任务时，报错“ERROR: ssh_exchange_identification: read: Connection reset by peer”

这时因为之前配置ssh免密时，使用 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa生成密钥时，覆盖了之前的密钥，导致之前配置好的ssh失效了，然后，任务重试一直失败，达到了ssh失败次数的上限，系统给添加到黑名单了【cat /etc/sshd.deny.hostguard】。
在 /etc/hosts.deny 中，注释掉
#sshd: /etc/sshd.deny.hostguard
#sshd: /etc/sshd.bip.hostguard
重启sshd 服务 systemctl restart sshd

15. 安装Cloudera-Agents时，安装失败，并且Agent无法启动，报错 “no such file /opt/cloudera/cm/cloudera/cm_version.properties”

1. 检查 agent 状态：systemctl status cloudera-scm-agent
2. 发现agent未启动检查目录 /opt/cloudera，发现目录未创建成功
3. 检查agent是否安装成功rpm -qa | grep cloudera提示安装成功
但是目录 /opt/cloudera 未创建，表明安装过程应该是失败了，卸载agent，重新安装：rpm -e cloudera-manager-daemons-6.3.1-1466458.el7.x86_64 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 --nodeps
可选：手动创建 /opt/cloudera 目录【若再次安装还是失败，则新建】mkdir /opt/cloudera/ && chown cloudera-scm:cloudera-scm /opt/cloudera/

16. cm 在分发 parcel 时，一直卡在 distribute 阶段，服务器目录 /opt/cloudera/parcels下也没有cdh的parcel文件

原因未知，重启 agent ，问题解决

# 找到 cm_guid 所在位置
find / -name cm_guid
# 删除 cm_guid
rm -rf /var/lib/cloudera-scm-agent/cm_guid
# 重启Agent
systemctl restart  cloudera-scm-agent

17. Hive 启动时，报错“hive 启动Version information not found in metastore”

Hive 元数据版本问题，没去深究，在hive 中关闭校验即可：
在配置页面取消 “hive.metastore.schema.verification” 选中框，

18. Hive 启动时，报错“MetaException(message:Required table missing : “DBS” in Catalog “” Schema “”. DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable “datanucleus.schema.autoCreateTables”

貌似是Hive的元数据库表没有自动创建，开启自动创建选项即可：
在Hive配置页面，启用“datanucleus.schema.autoCreateAll” 即可

19. Hive metastore 启动失败，报错：

2022-06-15 18:37:18,204 ERROR org.apache.hadoop.hive.metastore.HiveMetaStore: [main]: Metastore Thrift Server threw an exception...
java.lang.NullPointerException: nullat org.apache.hadoop.hive.metastore.ObjectStore.getObjectCount(ObjectStore.java:1343) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.ObjectStore.getTableCount(ObjectStore.java:1326) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_241]at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_241]at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_241]at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_241]at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:101) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at com.sun.proxy.$Proxy24.getTableCount(Unknown Source) ~[?:?]at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.updateMetrics(HiveMetaStore.java:6951) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:441) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:78) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:84) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:7030) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:7025) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:7283) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:7210) [hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_241]at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_241]at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_241]at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_241]at org.apache.hadoop.util.RunJar.run(RunJar.java:313) [hadoop-common-3.0.0-cdh6.3.2.jar:?]at org.apache.hadoop.util.RunJar.main(RunJar.java:227) [hadoop-common-3.0.0-cdh6.3.2.jar:?]

原因是Hive元数据表缺失，先进入元数据库metastore，删除库中已存在的所有表【搭建集群的时候可以这么做，，，】，在CM页面上，点击创建即可【ps：别用命令行，，，】

20. Hue运行sql报错：

Exception in thread "main" java.io.FileNotFoundException: File does not exist:
hdfs:/********:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framework.tar.gz

缺少jar包，在CM界面安装即可：

21. 使用python包 happybase 连接 HBase时，报错“No protocol version header” 或 “TTransportException（type=4,message=’TSocket read 0 bytes’）”

集群里面已经配置了 Hue 集成 HBase，具体方式详见：
官方文档
csdn的帖子

在和 Hue 的集成过程中， HBase Thrift Server
启用了如下两个配置项：


<property><name>hbase.regionserver.thrift.http</name><value>true</value>
</property>
<property><name>hbase.thrift.support.proxyuser</name><value>true/value>
</property>

但，如果使用 happybase 连接 HBase 的时候，就会报错。可以这么做：

新添加一个 HBase Thrift Server，用来给 happybase 使用；
在hbase-site.xml 的 HBase Thrift Server 高级配置代码段（安全阀）
中，单独为这个实例修改配置：

<property><name>hbase.regionserver.thrift.http</name><value>false</value>
</property>
<property><name>hbase.thrift.support.proxyuser</name><value>false/value>
</property>

重启 HBase 相关服务即可。问题解决，但原因未知，，，
参考文档：
stackoverflow
这儿

22. HDFS 重启时，Datanode 无法注册到 Namenode，或 NameNode的WebUI上显示大量的block丢失，Namenode 日志中报错“Requested data length 67521863 is longer than maximum configured RPC length 67108864”

在查看Namenode 的报错日志时，出现异常的 Datanode 日志报错如下：

2022-08-04 11:24:45,335 WARN org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: No block pool scanner found for block pool id: BP-21853433-xxxxxxxxx-1484835379573
2022-08-04 11:24:45,457 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Unsuccessfully sent block report 0xa7b72c5217b7ac,  containing 1 storage report(s), of which we sent 0. The reports had 6076010 total blocks and used 0 RPC(s). This took 1636 msec to generate and 1082 msecs for RPC and NN processing. Got back no commands.
2022-08-04 11:24:45,668 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService
java.io.EOFException: End of File Exception between local host is: "xxxx"; destination host is: "xxx":53310; : java.io.EOFException; For more details see:  http://wiki.apache.org/hadoop/EOFExceptionat sun.reflect.GeneratedConstructorAccessor8.newInstance(Unknown Source)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:423)at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)at org.apache.hadoop.ipc.Client.call(Client.java:1473)at org.apache.hadoop.ipc.Client.call(Client.java:1400)at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)at com.sun.proxy.$Proxy12.blockReport(Unknown Source)at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.blockReport(DatanodeProtocolClientSideTranslatorPB.java:177)at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.blockReport(BPServiceActor.java:524)at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:750)at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:889)at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.EOFExceptionat java.io.DataInputStream.readInt(DataInputStream.java:392)at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1072)at org.apache.hadoop.ipc.Client$Connection.run(Client.java:967)

从 Namenode 的日志报错信息来看，很明显是 Namenode 和 Datanode 之间的 rpc 通信出现了问题，而且是由于交互数据大小超限造成的。
尝试调整 rpc 的数据包大小限制：

<property><name>ipc.maximum.data.length</name><value>134217728</value>
</property>

调整为 128M，默认是 64M 。
重启 hdfs ，问题解决。
详见记一次HDFS报EOFException异常的问题

23. 使用Spark 读取与Hbase关联的Hive表时，报错类找不到“ClassNotFoundException: org.apache.hadoop.hive.hbase.HBaseStorageHandler”

在集群安装好HBase服务后，需要去Hive、Spark页面【以及其他和hbase交互的服务】启用HBase服务，关联相关的配置服务和依赖jar包。
但，Spark 读取与Hbase关联的Hive表时，还需要额外指定依赖hive-hbase-handler-2.1.1-cdh6.3.2.jar：

如果是 spark-submit ：则使用 --jars /xxx/path/hive-hbase-handler-2.1.1-cdh6.3.2.jar

如果是代码中【比如 Jupyter】：则使用

sparkConf.set("spark.driver.extraClassPath", "/xxx/path/hive-hbase-handler-2.1.1-cdh6.3.2.jar")
sparkConf.set("spark.executor.extraClassPath", "/xxx/path/hive-hbase-handler-2.1.1-cdh6.3.2.jar")

问题解决。

24. spark dataframe 写入kudu时报错java.io.StreamCorruptedException: invalid type code: 00

主要是 spark 依赖 kudu 的 jar 包错误导致的。正确的依赖 jar 为：

# 在目录 /opt/cloudera/parcels/CDH/lib/spark/jars/ 下：
kudu-spark2_2.11-1.10.0-cdh6.3.2.jar
kudu-spark2-tools_2.11-1.10.0-cdh6.3.2.jar

或者它们的软连接 jar ：

# 在目录 /opt/cloudera/parcels/CDH/lib/spark/jars/ 下：
kudu-spark2_2.11.jar
kudu-spark2-tools_2.11.jar

不能弄错了，，，

25. 在使用 Dolphinscheduler 的数据源功能时，突然发现Hive数据源连不上了，直接报错 Connection Reset

查了下资料，数据库连接报错 connection reset ，一般是服务器主动关闭连接导致的，怀疑是不是hive2的连接池不够了，导致Hive数据源这里连接中断，添加最大线程数：
hive.server2.thrift.max.worker.threads 从100添加到500
重启hive服务，问题解决。

26. Hive on spark 在执行时，报超时错误，Client ‘xxx’ timed out waiting for connection from the Remote Spark Driver

这是spark 连接 hive2 报的错误，所以，在 hive 的配置【hive-site.xml 的 HiveServer2 的高级配置代码段】中，增加 hive2 的超时时间

hive.spark.client.server.connect.timeout=600000
hive.spark.client.connect.timeout=60000
hive.spark.client.future.timeout=1200

未完待续。。。