Linux Shell 下载网站指定文件

Shell脚本，用来从网站下载指定文件名的文件。先判断本地这个文件是否存在，如果存在则忽略，不存在则从远程服务器上下载，下载成功后本地的批次号累加1，然后使用新的批次号继续下载新文件。

#!/bin/bash
downToday() {file1="/download/billdownload/settlements_xx/settlement_detail_report_batch_"batchno="`expr $(cat /home/aaa/batchno_xx) + $1`"suffix="_`date +\%C\%y\%m\%d`.csv"file3="${file1}$batchno${suffix}"if [ -f "$file3" ]thenecho "local file:settlement_detail_report_batch_`echo $batchno${suffix}` found" > /home/aaa/settle_xx.txtelseecho "local file:settlement_detail_report_batch_`echo $batchno${suffix}` not found" > /home/aaa/settle_xx.txtwget -P /download/billdownload/settlements_xx --http-user=username --http-password=passwd --no-check-certificate -e "https_proxy=proxyurl:proxyport" https://url/reports/download/MerchantAccount/bbbb/settlement_detail_report_batch_`echo $batchno${suffix}`if [ -f "$file3" ]thenexpr $(cat /home/aaa/batchno_xx) + 1 > /home/aaa/batchno_xxdownToday 0fifi
}for (( j=0; j<78; j=j+1 )); dodownToday 0downToday 1sleep 10m
done

编辑crontab文件以便在指定时间执行调度任务（job）

30 10 * * * /home/aaa/settle_xxx.sh

转载于:https://www.cnblogs.com/frankyou/p/8416313.html

Linux Shell 下载网站指定文件相关推荐

linux ftp 查找文件,Linux shell ftp命令根据文件日期下载文件的方法
需求:ftp获取远程数据的文件,根据文件的创建时间点下载文件. 可以自行扩展根据文件的大小等其他需求. 知识点总结: 1.获取文件的时间: ls -lrt|awk '{print $6" & ...
最全Linux系统下载网站
最全Linux系统下载网站 https://www.linuxdown.com/ 验证码585141
linux shell 执行多个文件,/etc/profile、~/.bash_profile等几个文件的执行过程
关于登录linux时,/etc/profile.~/.bash_profile等几个文件的执行过程. 在登录Linux时要执行文件的过程如下: 在刚登录Linux时,首先启动 /etc/profil ...
Linux之不删除指定文件夹，其他都删（文件和文件夹）
例子1 查看当前文件夹下有哪些文件和子文件夹我们看到俩个文件夹和多个文件,我现在的需求是只保留 public 这个文件夹其他的文件夹和文件统统都删除,怎么办呢? 只要一个命令 ls | gr ...
linux shell下除了某个文件外的其他文件全部删除的命令
Linux反选删除文件最简单的方法是 # shopt -s extglob (打开extglob模式) # rm -fr !(file1) 如果是多个要排除的,可以这样: # rm - ...
Linux shell计算两个文件的交集，并集和差集
本文介绍linux下shell计算两个文件的交集,并集和差集的方法,提供完整测试命令与演示. 测试文件 a.txt a c 1 3 d 4 b.txt a b e 2 1 5 计算并集 sort -u ...
linux查找目录中指定文件或遍历指定文件夹
查找目录中指定文件 1.终端输入:find 指定文件夹指定文件名 2.终端输入:ll 指定文件夹其中,文件夹可以不指定,但搜索较慢.ll主要是遍历比较快.
【Shell简单练习2】Shell 脚本输出指定文件夹下的文件名到指定的文件中
#!/bin/bash #filename: getFileNames.sh #命令行运行的时候,接收路径参数,然后将文件名输出到指定文件中 path=$1 tagetFile=$2 files=$( ...
linux遍历目录删除指定文件,利用shell脚本遍历文件夹内所有的文件并作整理统计的方法-linux删除文件夹...
本篇文章扣丁学堂Linux培训小编给读者们分享一下利用shell脚本遍历文件夹内所有的文件并作整理统计的方法,文章具有很好的参考价值,感兴趣的小伙伴就随小编来了解一下吧. 环境: Ubuntu下采用s ...

Linux Shell 下载网站指定文件

Linux Shell 下载网站指定文件相关推荐

最新文章

热门文章