阿里云oss数据迁移到腾讯云cos 方法二(强烈推荐)
迁移工具使用方法
迁移工具支持将S3, OSS, Qiniu,文件列表等文件迁移到COS对象存储。工具只支持在 linux/macos 下运行,系统自带的Python版本在2.6以上。
系统依赖
工具运行平台为*nix,需要有Python2.7及以上环境,同时机器应该安装pip, gcc与python-dev。您可以使用系统自带的包管理器安装相关依赖。
在centos上,使用如下命令安装:
1 |
sudo yum install python-pip python-devel gcc gcc-c++ libxml2-devel |
在ubuntu/debian上,使用如下命令安装:
sudo apt-get install python-pip python-dev gcc gcc-c++ libxml2-devel
安装方法
推荐使用pip安装,安装pip的方法,可以参考官网或者使用apt/yum等包管理工具安装python-pip包。
pip install -U cos_migrate_tool
执行完上述命令后,可以尝试使用如下命令检测是否安装成功。
cos_migrate_tool -h
卸载方法
执行如下命令:
pip uninstall cos_migrate_tool
使用方法
在安装成功后,系统会有一个可执行命令 cos_migrate_tool,之后的迁移过程都是使用该命令。执行命令的方式如下:
cos_migrate_tool -c /path/to/your/conf
配置文件自行编写,模版参考下章内容。在配置文件中,需要配置一个工作目录,之后迁移过程中产生的临时文件都在放置在该目录,请保证目录空间足够大,如果并行执行多个迁移任务,推荐使用不同的目录。
在迁移过程中,你可以查看你设定的工作目录下面的 fail_file.txt 来查看迁移失败的文件列表。
云服务器、云数据库方案、网络安全防护优选
配置文件
配置文件模板, common 部分配置基本配置,workspace是上述的工作目录。source 部分配置数据源的信息,如果你想迁移oss到cos,该部分就是配置oss的属性。destination 部分配置cos属性。
!! 配置文件请删除注释文字,即 # 注释 部分,空白模板参考 链接
[common]
workspace=/tmp/tmp6 # 工作目录threads=20 # 工作线程数,如果不配置,则为10线程[source]
type=oss
accesskeyid=
accesskeysecret=
bucket=
endpoint=
[destination]
type=cosv4
region=shanghai
accesskeyid=
appid=
accesskeysecret=
bucket=sdktest
迁移OSS
[common]
workspace=/tmp/tmp6
[source]
type=oss
accesskeyid= # oss accesskey id
accesskeysecret= # oss accesskey secret
bucket= # 要迁移的bucket名
endpoint= # oss 的endpoint,例如oss-cn-beijing.aliyuncs.com
[destination]
type=cosv4
region=shanghai # cos 的 region,如shanghai, guangzhou
accesskeyid= # cos 的 secretid
appid= # cos 的 appid
accesskeysecret= # cos 的 secretkey
bucket=sdktest # cos 的 bucket
prefix_dir=/dir21/ # cos 的目录,迁移的文件都会位于该目录下,不配置该项则迁移到根目录overwrite=true # 覆盖cos上已有的同名文件,如果不需要,请删除该行
迁移qiniu
[common]
workspace=/tmp/tmp11
[source]
type=qiniu
accesskeyid= # qiniu 的 accesskeyid
accesskeysecret= # qiniu 的 accesskeysecret
bucket= # 要迁移的qiniu的bucket
domain_url= # qiniu 的下载域名
prefix=dir1 # 要迁移的目录,如果要迁移整个bucket,删除此行
[destination]
type=cosv4
region=shanghai # cos 的 region,如shanghai, guangzhou
accesskeyid= # cos 的 secretid
appid= # cos 的 appid
accesskeysecret= # cos 的 secretkey
bucket=sdktest # cos 的 bucket
prefix_dir=/dir21/ # cos 的目录,迁移的文件都会位于该目录下,不配置该项则迁移到根目录
overwrite=true # 是否覆盖上传,如果不需要,删除此行
迁移S3
[common]
workspace=/tmp/tmp21
[source]
type=s3
accesskeyid= # s3 的 accesskey id
accesskeysecret= # s3 的 accesskey secret
bucket= # s3 的要迁移的bucket名
prefix=dir1 # s3 的要迁移的目录,如果要迁移整个bucket,删除此行
[destination]
type=cosv4
region=shanghai
accesskeyid=
appid=
accesskeysecret=
bucket=
迁移列表文件
[common]
workspace=
[source]
type=url
url_list_file=/tmp/urllist.txt # 要迁移的文件url列表文件,文件每一行为一个完整的url
timeout=3 # http请求的超时时间
[destination]
type=cosv4
region=
accesskeyid=
appid=
accesskeysecret=
bucket=
迁移COSv3
[common]
workspace=
[source]
type=cosv3
accesskeyid=
appid=
accesskeysecret=
bucket= # http请求的超时时间
[destination]
type=cosv4
region=
accesskeyid=
appid=
accesskeysecret=
bucket=
COS v3 迁移到 COS v4
[common]
workspace=
[source]
type=cosv3
accesskeyid=
appid=
accesskeysecret=
bucket=
[destination]
type=cosv4
region=
accesskeyid=
appid=
accesskeysecret=
bucket=
COS v4 迁移到 COS v4
[common]
workspace=
[source]
type=cosv4
accesskeyid=
region=
appid=
accesskeysecret=
bucket=
prefix_dir=/foo # cos 的目录,迁移的文件都会位于该目录下,不配置该项则迁移到根目录
[destination]
type=cosv4
region=
accesskeyid=
appid=
accesskeysecret=
bucket=
常见错误与解决办法
1. pip 命令不存在。 使用 apt install python-pip 或者 yum install python-pip 命令安装PIP。
2. 使用pip安装迁移工具不成功。尝试执行 sudo pip install cos_migrate_tool。
3. 提示找不到argparse,使用pip安装 sudo pip install argparse
4. 对于一直迁移不成功的文件,可能是COS上有同名残损文件,可以尝试指定 overwrite=true 参数来覆盖。
5. 迁移前工具会先判断文件是否已经在COS上,提示文件不存在的错误的正常的
阿里云服务器、腾讯云数据库方案、网络安全防护优选
本技术文转自 “蓝叶子_架构” 博客http://dellinger.blog.51cto.com/12445009/1971596
转载于:https://www.cnblogs.com/bozi0322/p/7723880.html
阿里云oss数据迁移到腾讯云cos 方法二(强烈推荐)相关推荐
- 腾讯云linux数据盘格式化,腾讯云服务器Centos挂载数据盘的方法
腾讯云服务器Centos挂载数据盘的方法 发布时间:2020-08-24 08:24:30 来源:脚本之家 阅读:138 作者:逐风 栏目:服务器 第一.检查硬盘设备是否有数据盘 # 先执行 fdis ...
- 一种云平台中基于虚机和订单元信息的跨租户数据迁移实现统一纳管的方法
一种云平台中基于虚机和订单元信息的跨租户数据迁移实现统一纳管的方法 一.发明名称 一种云平台中基于虚机和订单元信息的跨租户数据迁移实现统一纳管的方法 二.技术领域 云计算 数据迁移 统一纳管 三.现有 ...
- 用多备份将网站数据备份到百度云,七牛云存储,阿里云OSS,亚马逊S3,金山云等云存储服务上
真正运营过网站的人都知道,数据对一个网站来说至关重要,因此,网站数据备份也是日常必做工作.因为误操作,网站被攻击等种种原因都会导致数据丢失,这时,你才会明白"有备无患"的道理.备份 ...
- 阿里云服务器数据迁移
关于阿里云服务器数据迁移 本文章献给阿里云服务器体验到期而又不知道如何将数据迁移到新服务器上的初级开发人员.如有不足,请大家指正! 1. 首先登录阿里云服务器官网.进人云服务器 ,找到过期或即将过期的 ...
- AWS snowball、Azure DataBox、Google GTA等云平台数据迁移总结
AWS snowball.Azure DataBox.Google GTA等云平台数据迁移总结 基本上所有云厂商都支持数据的邮寄迁移服务,下面总结一下目前市场上主流云厂商的迁移服务: 云厂商名称 服务 ...
- zabbix4.0 mysql本地数据库迁移到腾讯云数据库
转载来源 :zabbix4.0 mysql本地数据库迁移到腾讯云数据库 : https://www.jianshu.com/p/19e40d853466 原环境:centos7.2 mysql5.7 ...
- 如何将你原来的服务器迁移到腾讯云服务器?
主机迁移概述 在云计算时代,不管是从IDC上云还是多云直接的迁移,都已经是常见的事宜.而在上云/迁移的方案中,也是有多种的方式能够将主机迁移到腾讯云中. 然而,不同的方式会有不同的利弊. 目前,腾讯云 ...
- 阿里云为啥在云服务器市场输给腾讯云
败了吗?貌似没有! 为什么说没有呢? 云计算市场非常大,而目前国内云计算市场搅局者非常多,这些搅局者带来的好处是什么呢?个人认为搅局者带来的最大的好处有两个,第一个是向市场普及了云计算,第二是拉低了用 ...
- 阿里云购买的域名绑定腾讯云的空间
一,域名在腾讯云备案 因为我的空间是腾讯云,需要绑定腾讯云的空间,因此,我们的域名需要先在腾讯云备案.不备案的话,不能够进行域名解析. 二,去阿里云修改域名的DNS服务器为腾讯云那边的DNS服务器 1 ...
最新文章
- Windows 下面的 redis GUI操作工具
- 360视域分析 cesium_Cesium-空间分析之通视分析(附源码下载)
- 【Java 泛型】使用上下边界通配符解决泛型擦除问题
- VS2005中,C#中跨线程访问控件问题解决方案
- linux 记一次链路聚合
- 通过反射获取成员变量并使用
- 操作系统 内存碎片 cache替换算法 虚拟地址逻辑地址线性地址物理地址
- 准备系统地学习一下Python
- 二进制转8421bcd码_绝对值编码器当中的格雷码
- 在Ubuntu中搭建嵌入式Linux开发环境
- Richardson–Lucy滤波的一点个人理解
- win7开机突然变得很慢_Win7电脑反应变慢怎么办?
- 一键免费升级Windows 10
- TRC格列卫(甲磺酸伊马替尼)病毒-宿主融合抑制剂方案
- 天猫精灵打开电脑(网络唤醒)
- 传奇微端配置不更新怎么办?
- HIN 异构信息网络(Heterogeneous Information Network)
- python高级学习笔记Day04--01 上下文管理器,生成器,深拷贝,浅拷贝,正则表达式
- Windows XP运行命令
- 现代c++中实现精确延时方法总结