hdfs日志上传脚本(三)

为了上传文件到hdfs，我们曾写过脚本，也曾搭过webdav；但是原来写脚本时，我们把日志下载到linux服务器，这样就多了一步磁盘I/O操作，而通过webdav直接从windows上传日志到hdfs又遇到了些麻烦。

下一步，我们想测试一下flume等日志收集系统，看看它们是否能够更方便、更实时地上传日志到hdfs。

但现在，我们暂且回到脚本方式，但换了一下思路：原始日志在windows上直接处理成lzo格式，然后放到共享目录，我们linux服务器挂载这个windows共享目录，然后调用Hadoop命令进行上传，这样不就减少了本地磁盘I/O操作了吗？看来思路很重要。

这次的脚本，我们用两台linux服务器都挂载windows共享目录，两台linux服务器上都运行脚本，只需要在上传之前判断一下日志文件是否冲突，通过改名的方法达到独占的目的。

#!/bin/bash
# 2012-03-02 by qinshan.li
#
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
windows="/hdfs/track_1469 /hdfs/track_1470 /hdfs/track_1722"
TRACK=/log/source/iCast_iFocus_track
for DIR in $windows
do
find $DIR -type f -name "*.lzo" |while read FILE
do
if [ -f "$FILE" ]; then
if ! lsof |grep $FILE; then
Original=$(echo $FILE |awk -F '/' '{print $4}')
New=${L_N}_170
mv $DIR/$Original $DIR/$New
L_size=$(ls -l $DIR/$New |awk '{print $5}')
if ~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -copyFromLocal $DIR/$New $TRACK
then
H_size=$(~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -ls $TRACK/$New |awk '{print $5}')
RAND=0
while [ "$H_size" -ne "$L_size" ]; do
RAND=$(($RAND+1))
if [ $RAND -gt 5 ]; then
echo -e "Have tried 5 times to upload $FILE !" |mail -s "track jiaxing upload failure" -c aa@123.com bb@123.com -- -f bb@123.com -F bb
break
fi
~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -rm $TRACK/$New
~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -copyFromLocal $DIR/$New $TRACK
done
fi
~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -mv $TRACK/$New $TRACK/$Original
rm -f $DIR/$New
fi
fi
done
done

做计划任务的时候，写个脚本判断一下上面的脚本是否正在运行，是的话就先等一下，否的话，使用source的方式调用上面的脚本。

#!/bin/bash
# 2012-03-02 by qinshan.li
#
if [ -z "$(/usr/bin/pgrep aa.sh)" ]
then
echo -e "$(/bin/date +%F_%H:%M) Now running aa.sh" >>/hdfs/bb.log
source /hdfs/aa.sh
else
echo -e "$(/bin/date +%F_%H:%M) The script aa.sh is running." >>/hdfs/bb.log
fi

本文转自 li_qinshan 51CTO博客，原文链接:
http://blog.51cto.com/share/795404

hdfs日志上传脚本(三)相关推荐

MySQL自动备份脚本和ftp上传脚本
MySQL自动备份脚本,并上传ftp 在日常的工作中Mysql数据库备份是长期需要去做的一件运维工作,但是人工手动去做这一机械的动作确实必要性不高,所以写个脚本来跑是比较好的. mysql备份脚本 # ...
文件上传的三种方式-Java
前言:负责,因为该项目他(jetty嵌入式开始SpringMvc)实现文件上传的必要性,并拥有java文件上传这一块还没有被曝光.并 Http 更多晦涩协议.因此,这种渐进的方式来学习和实践上载文件的 ...
vue获取上传图片的名字和路径_使用Vue实现图片上传的三种方式
项目中需要上传图片可谓是经常遇到的需求,本文将介绍 3 种不同的图片上传方式,在这总结分享一下,有什么建议或者意见,请大家踊跃提出来. 没有业务场景的功能都是耍流氓,那么我们先来模拟一个需要实现的业务 ...
HDFS重复上传文件将会覆盖原文件
HDFS重复上传文件,将会覆盖原文件.
ESXi与Linux主机配置syslog日志上传远程服务器
ESXi与Linux主机配置syslog日志上传远程服务器 https://www.conum.cn/cloud/vmware/148.html 前言最近很多客户遇到等级保护监测,需要搭建日志服务器 ...
6.HDFS文件上传和下载API
HDFS文件上传和下载API package hdfsAPI;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop ...
CuteFTP上传脚本(VBS)
CuteFTP上传脚本(VBS) 2010年08月13日 Option Explicit ' 强制显式声明变量. '****************************************** ...
Android崩溃日志框架,崩溃日志上传框架 LogReport
软件介绍 LogReport是一个崩溃日志上传框架 ,当App崩溃的时,把崩溃信息保存到本地的同时,自动给GitHub提交崩溃issue,你只需要几句,就能完成所有配置,更多细节请了解下方另外,崩溃 ...
Unity使用UnityWebRequest实现本地日志上传到web服务器
一.前言 Unity项目开发中,遇到bug的时候,我们一般是通过日志来定位问题,所以写日志到本地文件,或者把日志文件上传到web服务器这样的功能就很必要了.下面就介绍下如何实现日志写入本地文件和上传本 ...

hdfs日志上传脚本(三)

hdfs日志上传脚本(三)相关推荐

最新文章

热门文章