背景分析

今早同事突然说，hive在服务器登录不上去了，报权限问题。集群一直好好的怎么报权限问题呢个？笔者问了问情况，了解到原来该同事是看tmp目录下存储的较多的数据觉得浪费空间所以清理了/tmp。为了帮助新同事萌了解问题提供解决思路，首先这个问题比较简单，添加权限就可以，明白tmp下目录信息，特此记录

tmp中究竟存储了什么？

我们登录hdfs web ui发现/tmp目录下存储了如下信息：

我们发现首先，里面会有一个hadoop-yarn的目录，很显然这些信息是集群yarn工作的临时存储目录，也就是作mapreduce操作期间的临时存储，里边存储了job的staging。 Mapreduce工件，中间数据等将保存在该目录下。 mapreduce作业执行完成后，这些文件将自动清除。如果删除此临时文件，则可能会影响当前正在运行的mapreduce作业。

其次，我们发现tmp目录下有一个名为hive的目录,那么这个目录是什么呢？我们进入目录进行查看发现存储的是db信息。

这样我们想到了hive临时存储设置，我们进入hive查看hive的临时存储设置执行命令如下：

set hive.exec.scratchdir;

发现该目录确为hive临时存储目录，用于存储Hive的临时输出和计划，在hive client启动时会进行读取，这也是为什么启动client报错的原因。
最后，我们发现我们还有一个logs的目录，查看目录我们不难了解到，这个其实是我们mapreduce的任务日志的存储目录。

作业运行结束后（无论正常结束与否），将持久化日志到 yarn.nodemanager.remote-app-log-dir，而其默认存储为/tmp/logs。

问题解决

说到这里我们大概了解到了清理/tmp下的数据，也要注意，不能暴力清洗。因为是权限问题，所以我们为盖目录添加权限：

hadoop fs -chmod -R 777 /tmp

hive client 登录报权限不足问题/tmp/hive on HDFS should be writable. Current permissions are: rwx------相关推荐

处理进入hive报用户和权限的问题Permission denied: user=root，inode=“/tmp/hive”:hadoop:supergroup:drwxr-xr-x
问题一: [root@Hadoop ~]# hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding ...
azkaban 与 java任务_azkaban任务报错java.lang.RuntimeException: The root scratch dir: /tmp/hive...
azkaban运行任务的时候失败报错如下: 23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread &q ...
hive报错(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory/tmp/hive/.
报错场景: 使用shell脚本进行对hive的数据查询导入导致出错,先是hive执行时间较长,后面hive报错. 问题描述: 使用jps查询进程,发现有三个hive进程,三个RunJar,RunJar ...
win10登录本地Oracle11g数据库管理员报权限不足
问题:win10登录本地Oracle数据库管理员报权限不足,如下: 问题原因及概述:在网上查了一下,根据自身情况排除了其他原因(检查SQLNET.ORA文件和环境变量),定位问题点在于当前登录用户不 ...
CAS client 登录认证报不允许使用CAS来认证您访问的目标应用。
CAS client 登录认证报不允许使用CAS来认证您访问的目标应用. .. 解决方案: 修改src/main/resources/services目录下的HTTPSandIMAPS-100000 ...
CentOS7安装harbor仓库+修改默认用户+仓库登录报错
Docker安装和简单的使用_hrj的博客-CSDN博客下面搭建harbor仓库 1.安装docker-compose Linux 上我们可以从 Github 上下载它的二进制包来使用,最新发行的 ...
oracle加as报错,【Oracle】-【sqlplus / as sysdba登录报错问题】-新用
[Oracle]-[sqlplus / as sysdba登录报错问题]-新用户使用sqlplus / as sysdba登录报错解决 [Oracle]-[sqlplus / as sysdba登录报 ...
初识ABP vNext（4）：vue用户登录菜单权限
点击上方蓝字"小黑在哪里"关注我吧登录菜单权限运行测试前言上一篇已经创建好了前后端项目,本篇开始编码部分. 开始几乎所有的系统都绕不开登录功能,那么就从登录开始,完成用 ...
rails + devise 用户注册登录及权限判断
Mac环境 macOS High Sierra 版本 10.13.1 ruby 2.4.1p111 Rails 5.1.4 编辑软件:Atom(你可以选择其它软件,例如:Sublime Text.Ru ...
手工搭建基于ABP的框架(3) - 登录，权限控制与日志
为了防止不提供原网址的转载,特在这里加上原文链接: http://www.cnblogs.com/skabyy/p/7695258.html 本篇将实现登录.权限控制.日志配置与审计日志的功能.首先我 ...

hive client 登录报权限不足问题/tmp/hive on HDFS should be writable. Current permissions are: rwx------

背景分析

tmp中究竟存储了什么？

问题解决

hive client 登录报权限不足问题/tmp/hive on HDFS should be writable. Current permissions are: rwx------相关推荐

最新文章

热门文章