Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案

一、Crontab -e 加入输出Log

*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1

二、查看Log发现，找不到Hadoop

三、脚本中指定Hadoop完整路径

#!/bin/sh
#upload list to hdfs

yesterday=`date --date='1 day ago' +%Y%m%d`

echo $yesterday
/home/hadoop/bin/hadoop fs -put /qiwen_list/qiwen_${yesterday}.csv /qiwen_list

再次执行，问题解决。

Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案相关推荐

HDFS中JAVA API的使用(hadoop的文件上传和下载)
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件.删除文件.读取文件内容等操作.下面记录一下使用JAVA API对HDFS中的文件进行操作的过程. 对分HDFS中的 ...
6.HDFS文件上传和下载API
HDFS文件上传和下载API package hdfsAPI;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop ...
HDFS文件上传、下载和删除案例
(前提已经配置好HADOOP_HOME的环境变量,用的是hadoop2.7.2) 1.创建Maven工程HdfsClient 2.导入相应的依赖坐标+日志添加在上面箭头指的文件夹里添加下面的代码 & ...
Java中使用UUID给图片命名的文件上传方法
场景照片上传时给重命名时使用UUID进行重命名. 实现在实现方法上传的方法中调用工具类的地方 Map<String, Object> result = ImageUtil.getIns ...
渗透学习-文件上传篇-基础知识部分（持续更新中）
提示:仅供进行学习使用,请勿做出非法的行为.如若由任何违法行为,将依据法律法规进行严惩!!! 文章目录前言一.文件上传漏洞简要阐述文件上传是什么? 为什么会产生文件上传漏洞?及其可能一哪些危害? ...
Vue 中实现 excel文件上传功能
场景: 上传excel表,并将excel表中的数据构建成实体 <div class="pull-right" v-if="doc"><el-u ...
文件在上传过程中发生异常服务器端,文件上传服务器端
文件上传服务器端内容精选换一换本节操作介绍本地Linux操作系统主机通过SCP向Linux云服务器传输文件的操作步骤.登录管理控制台,在ECS列表页面记录待上传文件的云服务器的弹性公网IP.上传 ...
指定hdfs中namenode的地址_HDFS文件上传下载步骤
先来了解下分布式文件系统(Distributed FileSystem),它是跨越多台计算机或者服务器来管理文件或目录等数据.换句话说,分布式文件系统是允许我们在一个集群的多个节点或机器上存储数据,并 ...
crontab里shell脚本将top信息写入文件
crontab里shell脚本将top信息写入文件: 注: 1.top -n 1代表执行1次退出(默认top是不退出的),-d 1代表每1秒执行1次 2.crontab里需加/bin/bash # c ...

Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案

Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案相关推荐

最新文章

热门文章