配置及执行spark、hadoop遇到的几个报错解决

报错1：

问题描述：
执行hadoop命令报错

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable mkdir: Permission denied: user=Devops, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

解决方案：
在文件hadoop-env.sh中添加：

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

报错2：

问题描述：
hdfs文件目录新建目录。

mkdir: Permission denied: user=Devops, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

解决方案：
在hadoop 配置文件中 hdfs-site.xml 中设置权限为false

<configuration><property><name>dfs.permissions.enabled</name><value>false</value></property>
</configuration>

报错3：

问题描述：
执行spark 加载文件报错

AnalysisException: 'Path does not exist: hdfs://******/app_recommendation/data_app.csv;'

问题原因：
spark-shell 与 Hadoop集群管理器YARN集成，访问的是HDFS中的文件，需要把文件上传到HDFS中。

解决办法：
将 ******/app_recommendation/data_app.csv文件，复制到/input/test文件夹(为HDFS文件夹)下面。使用以下命令上传到HDSF中：

hdfs dfs -put ******/app_recommendation/data_app.csv  /input/test

报错4：

linux命令都失效。报错显示

bash: xxxxx: command not found...

解决办法：
在系统的配置文件里添加环境变量地址

export PATH=$PATH:/sbin

报错5：

hadoop集群启动报错(start-dfs.sh、start-yarn.sh)：权限被拒绝。
报错显示：

starting yarn daemons
starting resourcemanager, logging to /home/Devops/software/hadoop/logs/yarn-Devops-resourcemanager-hdp001.out
/home/Devops/software/hadoop/sbin/yarn-daemon.sh: line 125: /tmp/yarn-Devops-resourcemanager.pid: Permission denied
……

解决办法：
排错，Hadoop目录下文件的所有者和所属主是root用户还是当前用户。发现是root用户，用当前用户去使用root用户下的文件，当然会报权限错误。需要将文件所属者和所属组改为当前用户。

chown -R 用户名:所属主名 ./目录名
chown 用户名:所属主名 文件名