S3存储服务间数据同步工具Rclone迁移教程
前言
目前大多项目我们都会使用各种存储服务,例如oss、cos、minio等。当然,因各种原因,可能需要在不同存储服务间进行数据迁移工作,所以今天就给大家介绍一个比较通用的数据迁移工具Rclone。
提示:以下是本篇文章正文内容,下面案例可供参考
一、Rclone是什么?
Rclone是一个命令行程序,用于管理云存储上的文件。它是云供应商Web存储界面的功能丰富的替代方案。超过40种云存储产品支持rclone,包括S3对象存储,业务和消费者文件存储服务以及标准传输协议。详细推荐直接官网学习:英文官网、中文网站
二、Rclone能做什么?
备份(和加密)文件到云存储。
从云存储还原(和解密)文件。
将云数据镜像到其他云服务或本地。
将数据迁移到云,或在云存储供应商之间迁移。
将多个加密的,缓存的或多样化的云存储作为磁盘挂载。
三、使用步骤
1.安装Rclone
curl https://rclone.org/install.sh | sudo bash
2.生成配置文件
配置可以随便选择,选择完成后重新修改就好了,文章后面会有修改方法。
rclone config
3、查看生成的配置文件
在路径/root/.config/rclone/rclone.conf(rclone.conf为配置文件生成时配置的名称)
cd /root/.config/rclone
4、修改配置文件
vim /root/.config/rclone/rclone.conf
修改配置如下,请根据自己服务配置修改部分参数
[minio-zwy]
type = s3
env_auth = false
provider = Minio
region = cn-east-1
access_key_id = minioadmin
secret_access_key = minioadmin
endpoint = http://127.0.0.1:8000
[minio-lin]
type = s3
env_auth = false
provider = Minio
region = cn-east-1
access_key_id = minioadmin
secret_access_key = minioadmin
endpoint = http://127.0.0.99:8000
5、进行数据同步
zwy同步到lin
rclone sync minio-zwy:test minio-lin:test
或者
lin同步到zwy
rclone sync minio-lin:test minio-zwy:test
rclone sync 源(配置文件名称): 源数据Bucket 目标源名称:目标bucket
6.常见命令
rclone config - 以控制会话的形式添加rclone的配置,配置保存在.rclone.conf文件中。
rclone copy - 将文件从源复制到目的地址,跳过已复制完成的。
rclone sync - 将源数据同步到目的地址,只更新目的地址的数据。
rclone move - 将源数据移动到目的地址。
rclone delete - 删除指定路径下的文件内容。
rclone purge - 清空指定路径下所有文件数据。
rclone mkdir - 创建一个新目录。
rclone rmdir - 删除空目录。
rclone check - 检查源和目的地址数据是否匹配。
rclone ls - 列出指定路径下所有的文件以及文件大小和路径。
rclone lsd - 列出指定路径下所有的目录/容器/桶。
rclone lsl - 列出指定路径下所有文件以及修改时间、文件大小和路径。
rclone md5sum - 为指定路径下的所有文件产生一个md5sum文件。
rclone sha1sum - 为指定路径下的所有文件产生一个sha1sum文件。
rclone size - 获取指定路径下,文件内容的总大小。.
rclone version - 查看当前版本。
rclone cleanup - 清空remote。
rclone dedupe - 交互式查找重复文件,进行删除/重命名操作。
7.常用操作
**rclone lsd:**列出指定path下,所有的目录、容器、桶。
# remote 为配置文件中的[name]
rclone lsd remote:path
rclone copy:将文件从源复制到目的地址,跳过已复制完成的。
# `rclone copy` 复制指定路径下文件
rclone copy source:sourcepath dest:destpath
**rclone sync:**同步的始终是 path 目录下的数据(空目录将不会被同步),而不是 path 目录。同步数据时,可能会删除目的地址的数据;建议先使用–dry-run 标志来检查要复制、删除的数据。同步数据出错时,不会删除任何目的地址的数据。
rclone sync source:path dest:path
**rclone move:**同步数据时,可能会删除目的地址的数据;建议先使用–dry-run 标志来检查要复制、删除的数据。
rclone move source:path dest:path
**rclone purge:**清空 path 目录和数据。
rclone purge remote:path
**rclone mkdir:**创建 path 目录。
rclone mkdir remote:path
总结
以上就是今天介绍的全部内容,这里介绍的rclone sync的方式数据同步不能做到同步过程实时同步,即同步过程中,如果有新的文件上传到已同步完成的文件下,该文件会丢失。当然Rclone也提供了其他方法解决该问题,有兴趣的朋友可以到官网直接学习英文官网、中文网站。大家学习也可参考这个:参考博客。
S3存储服务间数据同步工具Rclone迁移教程相关推荐
- 网络云存储技术Windows server 2012 (项目十五 存储服务间的数据同步)
网络云存储技术Windows server 2012 (项目十五 存储服务间的数据同步) 目录 前言 一.项目背景 二. 项目实训题 前言 网络存储技术,是以互联网为载体实现数据的传输与存储,它采用面 ...
- 数据同步工具的研究(实时)
数据同步工具的研究(实时同步): FlinkCDC.Canal.Maxwell.Debezium --2023年01月17日 --Yahui Di 1. 常用CDC方案比较 2. FlinkCDC F ...
- Linux的rsync远程数据同步工具
Rsync(remote synchronize) 是一个远程数据同步工具,可以使用"Rsync算法"同步本地和远程主机之间的文件. rsync的好处是只同步两个文件不同的部分,相 ...
- 高效数据同步工具DataX的使用
一.DataX 简介 DataX 是阿里云 DataWorks 数据集成 的开源版本,主要就是用于实现数据间的离线同步. DataX 致力于实现包括关系型数据库(MySQL.Oracle 等).HDF ...
- rsync远程数据同步工具
一.简介 1.认识 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.Rsync使用所谓的"Rsync算法"来 ...
- 【硬刚大数据】大数据同步工具之FlinkCDC/Canal/Debezium对比
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞.收藏.留言 ,欢迎留言交流! 本文由[王知无]原创,首发 ...
- 分享改进 高性能数据同步工具(一)
题外:在博文索引中暂时列出了开源的计划一览,虫子开源的目的是希望能有更多的交流,部分软件可能小得连开源协议的认证价值都没有.不管程序有多小多简单,用心把一个完整的设计思路.实现过程以及测试结果展现给大 ...
- canal - 数据同步工具
一.应用场景 在前面Echarts - 实现图表显示中,我们使用了服务调用(统计表中的信息通过调用用户模块服务来获取)获取统计信息,这样耦合度高,效率相对较低,目前有另一种方法,通过实时同步数据库表的 ...
- 数据同步工具Sqoop
大数据Hadoop之--数据同步工具Sqoop Sqoop基本原理及常用方法 1 概述 Apache Sqoop(SQL-to-Hadoop)项目旨在协助RDBMS(Relational Databa ...
- python 数据库同步_python实现不同数据库间数据同步功能
功能描述 数据库间数据同步方式很多,在上篇博文中有总结.本文是用py程序实现数据同步. a数据库中有几十张表,要汇聚到b数据库中,且表结构一致,需要准实时的进行数据同步,用工具实现时对其控制有限且配置 ...
最新文章
- 无线路由器的使用方法
- python 双冒号
- 重写描述符(property)魔法方法时可能遇到的问题
- 马明哲新年内部讲话透露新战略:全面开启3.0时代
- VS 配置外部DLL的引用路径【可执行文件的环境路径】
- BIO、NIO、AIO的区别——Netty系列(一)
- iPhone X 刘海打理指北
- codeforces B. Friends and Presents(二分+容斥)
- 笨办法学 Python · 续 练习 47:`bc`
- 阿里百川IMSDK--自定义群聊界面
- redis sentinel 哨兵
- 工厂模式的思想主要为
- Spring中定义Bean的6种方式(声明式+编程式)
- Winhex的使用教程
- 使用华为云WeLink,体验无纸化办公的这些优点
- 讯飞tts语音引擎_讯飞iFLYOS语音让家居产品更智能
- 梯度、散度、旋度的关系
- FTP上传文件0字节问题
- 计算机网络13--网络应用的体系结构
- React的受控组件和非受控组件