linux调度不执行,linux crond.d定时调度执行一段时间后不执行
问题一:/etc/cron.d下的定时任务执行一段时间后不执行
背景:在/etc/cron.d下加了一个定时任务,名为dispute_cron(使用root用户编辑),内容:
28 15 * * * hdfs /home/hdfs/xxx/work/disputefile/bin/rundispute.sh
使用hdfs用户每日定时执行该脚本rundispute.sh,执行一段时间后不执行了。
排查:1.看crond日志是否调起来,vim /var/log/cron 看日志在对应的时间点上相应的定时任务并没有被调起来。
2.切换到hdfs,执行crontab–e,报错:
鉴定令牌不再有效;需要新的鉴定令牌
You (hive) are not allowed to access to (crontab) because of pam configuration.
脚本是hdfs执行的,这表示hdfs密码过期了,执行chage–l hdfs,显示:
Last password change: Sep 25, 2016
Password expires: Dec 24, 2016 --过期时间
Password inactive: never
Account expires: never
Minimum number of days between password change: 0
Maximum number of days between password change: 90
Number of days of warning before password expires: 7
2016.12.24号之后该调度脚本就不能被hdfs用户调起了。
或vim /var/log/secure看密码过期提醒,若要过期会有提醒如:
***********************
3.设置用户密码永不过期,脚本即可被调用。
chage -M -1hdfs
参考文章:http://blog.itpub.net/29392174/viewspace-1063866/
http://www.th7.cn/system/lin/201602/153915.shtml
日志不全,还是改换成hdfs用户在crontab–e中加了下面内容:
2815* * * cd /home/hdfs/xxx/work/disputefile/bin; ./rundispute.sh >> ../logs/run.log 2>&1
可以进入cd /var/spool/cron/看每个用户配置的定时任务。
问题二:HIVE JDBC查询报错return code-101
java.sql.SQLException:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode-101fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask.Java heap space.
……..
Caused by: java.lang.OutOfMemoryError: Java heap space
重启hiveserver2堆内存释放OK,不能解决根本问题:需要增加hivesever2堆内存或者优化查询,优化查询根据具体情况具体分析,可以调整hivesever2堆内存使其不溢出,如下(hortonworks平台):
linux调度不执行,linux crond.d定时调度执行一段时间后不执行相关推荐
- java ThreadPool 执行一段时间后卡死,不再执行任务
原文地址:http://www.5ixiudou.com/portal/detailInfo/1000000005/290 线程池实际使用过程中遇到的问题 运政新库:程序执行一段时间后,就卡住了,不执 ...
- 如何让java程序执行一段时间后停止
如何让java程序执行一段时间后停止 1.概述 在本文中,我们将学习如何在一段时间后结束长时间运行的任务.我们将探讨这个问题的各种解决方案.此外,还将介绍各种方案缺点. 2.使用循环 假设我们在一个循 ...
- Spring task定时任务执行一段时间后莫名其妙停止的问题
前因: 我写了一个小项目,主要功能是用Spring task定时任务每天定时给用户发送邮件.执行了几个月一直没有问题,前几天,莫名其妙的突然不再发送邮件了. 只好花费一些时间来查看到底是什么原因造成的 ...
- springBoot 定时任务执行一段时间后失效
问题描述: springBoot 定时任务执行一段时间后失效,定时任务调用http过一段时间后什么异常也没有 原因:http请求僵死,导致线程也不往下执行,最终导致后面的定时任务也不执行: 解决方法: ...
- java集群调度_集群环境下定时调度的解决方案之Quartz集群
集群环境可能出现的问题 在上一篇博客我们介绍了如何在自己的项目中从无到有的添加了Quartz定时调度引擎,其实就是一个Quartz 和Spring的整合过程,很容易实现,但是我们现在企业中项目通常都是 ...
- linux断网后自动重连,centos 空闲一段时间后自动断网
用客户端工具,例如securecrt连接Linux服务器,有的会出现过一段时间没有任何操作,客户端与服务器就断开了连接. 造成这个的原因,主要是因为客户端与服务器之间存在路由器,防火墙以及为了本身的安 ...
- java一段时间后执行一块代码_java自带的ScheduledExecutorService定时任务正常执行一段时间后部分任务不执行...
目前我有用java自带的ScheduledExecutorService线程任务做定时调度功能,我开启了足够多的线程数,比如开了300,实际上用到的只有50个. 我用的是newScheduledThr ...
- java每隔一段时间执行_8.Android中,每隔一段时间执行某一个任务(Timer)
1,在开发中我们有时会有这样的需求,即在固定的每隔一段时间执行某一个任务.比如UI上的控件需要随着时间改变,我们可以使用Java为我们提供的计时器的工具类,即Timer和 TimerTask. Tim ...
- php限制接口访问次数_php暂停多长时间后继续执行代码
今天在做一个API接口调用的功能时,需要添加一个接口的调用限制逻辑.即用户在调用接口一定的次数后,限制用户的处理速度,达到一个防止机器刷量的目的.实现这个功能就要用到PHP的延迟执行代码逻辑的函数sl ...
最新文章
- Python热文Top10,精选自1000篇文章
- 极客新闻——18、领导和下属之间到底是什么样的关系?
- 了不起的Virtual DOM(一):起源
- C语言项目--教师信息/学生成绩管理系统
- APS入门2-ortools
- flask双向映射语法
- BIEE入门(一)架构
- Python爬虫_Cookie
- C# 根据url获取文件流流
- 59.Linux/Unix 系统编程手册(下) -- SOCKET: Internet Domain
- 一个请求里能有多个cookie吗_从一个男人对女人家人的态度里,能看出他有多爱对方吗?...
- 高等代数——大学高等代数课程创新教材(丘维声)——1.1笔记+习题
- 2022年电子商务概论(农)之形考作业三
- 以数为本、谋求智变,联通大数据“跑步”进入发展新阶段!
- Mac -- 插入移动硬盘后没有显示
- Modbus从站读写数据
- 黄一老师:什么是个人信用融资?
- 刚上线的App该如何做好ASO优化?
- 白手起家学习使用flex (5) 在Flash Builder5 中引用 fla 文件中的类( symbol )
- 开源Modbus 协议库---XTinyModbus
热门文章
- golang 通过docker 搭建 ocr识别
- 【T+】删除/取消畅捷通T+软件登录账套后的“查看认证”按钮
- 在firefox中 屏蔽CSDN博客广告 + 添加百度搜索引擎
- 使用unity的mesh绘制三菱柱的碰撞体(3d三角形)
- 简单几步搞定Mac电脑快速返回桌面的操作!
- android电视 怎么调电视机的信号源,如何设置智能电视、盒子信号源?原来这么简单!具体方法如下...
- Edify Script (Android Shell)定制Twrp刷机包
- P1:选 7-15 群发邮件
- 二零一九己亥年中秋快乐
- 读书笔记《敏捷项目管理》第七章 定义产品愿景和产品路线图