Python实现目录文件的全量和增量备份

目标：

1.传入3个参数:源文件路径，目标文件路径，md5文件

2.每周一实现全量备份，其余时间增量备份

1.通过传入的路径，获取该路径下面的所有目录和文件(递归)

方法一：使用os.listdir

代码如下：

#!/usr/bin/env python
#coding:utf8import os,sysdef lsdir(folder):contents = os.listdir(folder)print "%s\n%s\n" % (folder, contents)for path in contents:full_path = os.path.join(folder, path)if os.path.isdir(full_path):lsdir(full_path)if __name__ == "__main__":lsdir(sys.argv[1])

•运行代码，效果如下：

[root@localhost python]# python listdir.py /a
/a
['b', 'a.txt']/a/b
['c', 'b.txt']/a/b/c
['c.txt']

方法二：使用os.walk

代码如下：

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
#!/usr/bin/env python
# -*- coding: utf-8 -*-import os,sysdef lsdir(folder):contents = os.walk(folder)for path, folder, file in contents:print "%s\n%s\n" %(path, folder + file)if __name__ == "__main__":lsdir(sys.argv[1])

•运行代码，测试效果

[root@localhost python]# python listdir1.py /a
/a
['b', 'a.txt']/a/b
['c', 'b.txt']/a/b/c
['c.txt']

2.如何计算文件的md5值(每次读取4K，直到读取完文件所有内容，返回一个16进制的md5值)

代码如下：

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
[root@localhost python]# cat md5.py
#!/usr/bin/env python
# -*- coding: utf-8 -*-import hashlib
import sysdef md5(fname):m = hashlib.md5()with open(fname) as fobj:while True:data = fobj.read(4096)if not data:breakm.update(data)return m.hexdigest()if __name__ == "__main__":print md5(sys.argv[1])

•运行代码，测试效果

[root@localhost python]# python md5.py a.txt
c33da92372e700f98b006dfa5325cf0d
[root@localhost python]# md5sum a.txt
c33da92372e700f98b006dfa5325cf0d  a.txt

*提示：使用linux自带的md5sum和自己编写的Python计算的md5值相通

3.编写全量和增量备份脚本

代码如下：

#!/usr/bin/env python
#coding:utf8import time
import os
import tarfile
import cPickle as p
import hashlibdef md5check(fname):m = hashlib.md5()with open(fname) as fobj:while True:data = fobj.read(4096)if not data:breakm.update(data)return m.hexdigest()def full_backup(src_dir, dst_dir, md5file):par_dir, base_dir = os.path.split(src_dir.rstrip('/'))back_name = '%s_full_%s.tar.gz' % (base_dir, time.strftime('%Y%m%d'))full_name = os.path.join(dst_dir, back_name)md5dict = {}tar = tarfile.open(full_name, 'w:gz')tar.add(src_dir)tar.close()for path, folders, files in os.walk(src_dir):for fname in files:full_path = os.path.join(path, fname)md5dict[full_path] = md5check(full_path)with open(md5file, 'w') as fobj:p.dump(md5dict, fobj)def incr_backup(src_dir, dst_dir, md5file):par_dir, base_dir = os.path.split(src_dir.rstrip('/'))back_name = '%s_incr_%s.tar.gz' % (base_dir, time.strftime('%Y%m%d'))full_name = os.path.join(dst_dir, back_name)md5new = {}for path, folders, files in os.walk(src_dir):for fname in files:full_path = os.path.join(path, fname)md5new[full_path] = md5check(full_path)with open(md5file) as fobj:md5old = p.load(fobj)with open(md5file, 'w') as fobj:p.dump(md5new, fobj)tar = tarfile.open(full_name, 'w:gz')for key in md5new:if md5old.get(key) != md5new[key]:tar.add(key)tar.close()if __name__ == '__main__':src_dir = '/Users/xkops/gxb/'dst_dir = '/tmp/'md5file = '/Users/xkops/md5.data'if time.strftime('%a') == 'Mon':full_backup(src_dir, dst_dir, md5file)else:incr_backup(src_dir, dst_dir, md5file)

•运行代码，测试效果(执行前，修改需要备份的文件和路径)，运行之后检查/tmp下是否生成了当天的备份文件。

Python实现目录文件的全量和增量备份相关推荐

python 读取文件夹增量文件_Python实现目录文件的全量和增量备份
目标: 1.传入3个参数:源文件路径,目标文件路径,md5文件 2.每周一实现全量备份,其余时间增量备份 1.通过传入的路径,获取该路径下面的所有目录和文件(递归) 方法一:使用os.listdir ...
Linux随笔19-MySQL主从复制、Percona XtraBackup实现全量和增量备份、ProxySQL实现读写分离
Contents 1. MySQL5.7实现主从复制 1.1 基础环境 1.2. 配置主从复制 1.2.1. master节点上的配置 1.2.2. slave节点上的配置 1.2.3. 中继日志问题 ...
xtrabackup全量、增量备份恢复mysql数据库
一. 全量备份恢复: 查看原表内容: MariaDB [(none)]> select * from testdb.students; +----+------------+------+--- ...
linux svn 增量备份脚本,svn全量和增量备份详解(示例代码)
1.svn的安装: yum安装: yum install -y subversion mkdir /data/svn svnadmin create project-1 svnadmin create ...
mysql全量和增量备份脚本
全量: [root@master leo]# cat DBfullBak.sh #!/bin/bash #use mysqldump to fully backup mysql dataBakDir= ...
mysql增量脚本_mysql全量和增量备份脚本
全量: [root@master leo]# cat DBfullBak.sh #!/bin/bash #use mysqldump to fully backup mysql data BakDir ...
MySQL数据以全量和增量方式，向ES搜索引擎同步流程
本文源码:GitHub·点这里 || GitEE·点这里一.配置详解场景描述:MySQL数据表以全量和增量的方式向ElasticSearch搜索引擎同步. 1.下载内容 elasticsearch ...
mongodb数据同步到elasticsearch的中间件，支持全量，增量，实时同步等多种同步情景。(syncs MongoDB to Elasticsearch in realtime) （Mong
GitHub - levonmo/mongo-sync-elasticsearch: mongodb数据同步到elasticsearch的中间件,支持全量,增量(新增修改删除),实时同步等多种同步情景 ...
关于全量与增量的思考
一.数据同步:全量与增量 1.背景数据如果保留多份,就会存在一致性问题,就需要同步,同步分为两大类:全量和增量 2. 概述数据如果要保留副本,要么同时写(就是多写),或者进行复制:异步写(即从主数 ...

Python实现目录文件的全量和增量备份

Python实现目录文件的全量和增量备份相关推荐

最新文章

热门文章