Spark

1.spark无法查询 spark Compression codec com.hadoop.compression.lzo.LzoCodec not found.

Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.
在hadoop中配置了编解码器lzo，所以当使用yarn模式时，spark自身没有lzo的jar包所以无法找到！
解决办法
配置spark-default.conf文件！

注意
如果仍然不能找到，就将lzo的jar包放到spark的jars中

2.spark-shell 执行sql语句报java.net.URISyntaxException: Expected scheme-specific part at

遇到idea执行sparksql程序时操作的是本地的spark-warehouse库，没有报错信息，后来发现使用spark-shell 查询sql也无法执行并报错，尝试将元数据信息初始化就解决了，idea也能正常访问hive了。

hive元数据为初始化，解决步骤，将mysql中的metasore数据库删除，再执行hive初始化元数据库信息的命令 schematool -initSchema -dbType mysql

3.spark on yarn 错误ExitCodeException exitCode=13

集群模式冲突，程序中不能指定mater模式去掉setmaster()

Hive

1.HIVE insert return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误解决方案

hive 插入数据的时候，不能直接运行，报错

错误原因：
namenode内存空间不够，JVM剩余内存空间不够新job运行所致

错误提示

Starting Job = job_1594085668614_0006, Tracking URL = http://kudu:8088/proxy/application_1594085668614_0006/
Kill Command = /root/soft/hadoop-3.2.1/bin/mapred job -kill job_1594085668614_0006
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2020-07-07 09:43:24,559 Stage-1 map = 0%, reduce = 0%
Ended Job = job_1594085668614_0006 with errors
Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec

解决办法：

在hive> 下，输入
set hive.exec.mode.local.auto=true;

2.idea 启动spark程序连接hive hive启动错误 The dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------ 权限不够

启动hive时出现错误

解决：首先需要在windows下有hadoop的环境(hadoop已配置环境变量，可以cmd用hadoop -version检测)，然后到bin，

cd D:\hadoop\hadoop-2.4.1\hadoop-2.4.1\bin

.\winutils.exe ls F:\tmp\hive
.\winutils.exe chmod 777 F:\tmp\hive
.\winutils.exe ls F:\tmp\hive

在windows环境下，需要使用如下命令设置用户，否则会报异常

GetLocalGroupForUser errot(2221):?????

System.setProperty("HADOOP_USER_NAME","root")

大数据集群搭建所遇问题(最重要的是各个组件必须版本匹配)相关推荐

【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署
[大数据集群搭建-Apache]Apache版本进行大数据集群各组件环境部署 1)大数据环境统一 1.1.设置主机名和域名映射 1.2.关闭服务器防火墙和Selinux 1.3.服务器免密登陆 1.4 ...
大数据集群搭建全部过程（Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn）
大数据集群搭建进度及问题总结所有资料在评论区那里可以得到第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是 ...
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---终结篇
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---第二部分
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)-----第一部分
##心路历程:这是大学时期做的项目,这个项目对我印象特别的深,当时没有记录在博客上,今后会积极分享自己做项目的历程与经验,希望能帮到需要的朋友,有什么问题或者建议欢迎在评论区留言,废话不多说,咱们就开 ...
1、大数据集群搭建之----jdk安装和zookeeper集群安装
这里废话不多说,上来就干.(如果配置不成功或遇到问题,可以留言,共同解决问题) 我的百度网盘里面有所有的用到的软件,永久有效无加密. https://pan.baidu.com/s/1pqW6bHxh ...
大数据集群搭建（一）虚拟机和Centos6的安装
文章目录 1.安装虚拟机 2.安装Centos6 3. Centos系统的网络配置 3.1关于IPADDR地址的由来: 4.将搭建好的虚拟机克隆出四台 4.1给四台节点配置独立的IP地址和主机名 1. ...
大数据集群搭建（jdk、hadoop、hive、mysql、spark、flume、zookeeper）
集群环境各个机器安装的组件列表大数据各个组件版本 192.168.248.10 192.168.248.11 192.168.248.12 jdk1.80 √ √ √ hadoop-2.6.1 √ ...
大数据集群搭建之节点的网络配置过程（二）
紧接着上一章来设置windows的vmnet8的ip地址和虚拟机中centos的ip地址. NAT虚拟网络的配置图如下图所示: 1.这里根据VMware中得到的网关地址去设置vmnet8的ip地址. ...

大数据集群搭建所遇问题(最重要的是各个组件必须版本匹配)