hadoop日常维护之问题解决01

执行hadoop任务遇到的问题：

Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hive/warehouse/rec_new2.db/user_session/.hive-staging_hive_2017-12-10_08-22-41_311_4339813855157373054-1/-ext-10000/_temporary/0/_temporary/attempt_20171210082241_0000_m_000000_3/appid=10017/dt=2017-12-09/part-00000 could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and no node(s) are excluded in this operation

当时遇到无论是hive向hadoop写入数据还是spark、storm写入数据都报以上错误：

一开始网上各种找，冷静下仔细看hadoop运行日志信息，

日志查看：

$HADOOP_HOME/logs

通过在master节点查看，tail –f hadoop-root-namenode-hadoop-master.log 监听namenode运行日志信息，发现问题所在：

原来在hadoop配置文件中，预留磁盘大小为20G，通过df -hl 命令查看磁盘空间大小，发现hadoop-slave3 磁盘空间只剩17G，导致数据无法插入；

解决方案：增大磁盘空间或删除较大文件，达到配置预留磁盘空间即可；

由于spark配置的是standalone模式，导致每执行一个spark任务，运行日志中都会有一个运行任务所需jar包；累积下来占用磁盘空间；可定期删除，也可以配置spark-env.sh 每执行完后直接删除运行日志信息及jar包；

spark运行任务查看运行日志信息及jar包所在位置：$SPARK_HOME/work

运行完直接删除运行日志信息及jar包，在spark-env.sh中加入如下内容：

SPARK_WORKER_OPTS=”-Dspark.worker.cleanup.enabled=true”

注意官方文档中说不管程序是否已经停止，都会删除文件夹，这是不准确的，只有停止掉的程序文件夹才会被删除

附：

Hdfs-site.xml:

可以通过配置，修改配置只需停掉集群重启即可：

$HADOOP_HOME/conf/hdfs-site.xml 文件里的 dfs.datanode.du.reserved 属性来配置HDFS预留磁盘的空间大小，从而限制 data node 的磁盘使用量（单位是字节数），如以下配置会给磁盘预留20GB的空间：

<name>dfs.datanode.du.reserved</name>

<description>Reserved space in bytes per volume. Always leave this much space free for non dfs use.

</description>

</property>

转载于:https://www.cnblogs.com/ELBOR-LIU/p/8043143.html

hadoop日常维护之问题解决01相关推荐

oracle启动crs要多久,ORACLE CRS日常维护命令
这篇文档主要给大家介绍一下ORACLE RAC的crs的一些日常维护的常见命令: 1. 手工启动crs # /etc/init.d/init.crs start 手工关闭crs # /et ...
hadoop日常运维
hadoop日常运维 @(HADOOP)[hadoop] (一)备份namenode的元数据 namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用.因此应该经常对元数据进行备份,最好 ...
3个最常见案例详解DBA日常维护
导读:DBA的大部分工作都是围绕着对数据库的维护而展开的,常规的日常维护更是占了绝大多数.本节将围绕日常维护中最常见的三个案例展开讲解,与大家分享排查此类问题的思路. 作者:叶桦徐浩张梦颖应以峰 ...
安卓工控主板运行时会自动重启_工控机日常维护的方法与步骤
工控机维修是一项理论知识.实践经验与操作水平的结合的工作,其技术水平决定着工控机维修质量.从事工控机维修的人员需要经常学习,了解工控机内部的电子元器件所具备的功能和特点,及各种软件和系统重装设置要求, ...
MS SQL 日常维护管理常用脚本(二)
下面是整理.收集监控数据库运行的一些常用脚本,也是MS SQL 日常维护管理常用脚本(一)的续集,欢迎大家补充.提意见. 查看数据库登录名信息 Code Snippet SELECT name ...
MongoDB——MongoDB的日常维护
MongoDB的日常维护和复制集日常维护备份与回复管理导入导出备份与恢复克隆(克隆集合) 安全管理监控进程管理授权启动日常维护 MongoDB日常维护主要包括数据库的备份恢复.安全管 ...
MC-BE基岩版服务器搭建与日常维护
有部分内容被csdn和谐,强烈建议移步我的个人博客以获得更好的排版和阅读体验: xzajyjs.cn. 目录环境搭建开始部署日常维护服务器的白名单机制定时备份服务器升级服务器模组安装搭 ...
Dataguard日常维护及故障解决
Dataguard日常维护及故障解决一. dataguard环境要求 2.1数据库版本必须为企业版,版本最好在9i以上,主备库数据库的版本必须一致. 2.2 主备数据库所在操作系统版本以及位数要 ...
MySQL日常维护（超级大杂烩）
MySQL 日常维护其中第一至第六, 每天都需要执行, 第七到第九定期执行(1周或者2周一次?) 一检查数据库运行状态 1 通过putty.exe登录远程数据库服务器,在shell命令行里面执行 ...
MySQL Cluster 日常维护
在前面几篇文章已经详细介绍了MySQL Cluster的搭建,配置讲解.而且相信大家都掌握了基本用法.现在我们来看看Cluster的日常维护.熟悉日常维护,将有助于工作中更好的管理和使用Cluster ...

hadoop日常维护之问题解决01

hadoop日常维护之问题解决01相关推荐

最新文章

热门文章