前言

当使用了像 OSS、S3 这样的开放对象储存的 PaaS 产品后，一面上体验到了网站核心同附件库分离的安全性、高性能以及免维护的便利性，一面上却又怕在一个厂家的对象储存上扎根了就无法迁移，会被厂家绑架。

如果你的网站大量应用了其他厂家的云服务像 云服务器、云数据库、对象存储要迁移到阿里云的上的话，像云服务器可以通过压缩、解压或者rysnc等同步方式传输，云数据库可以通过 DTS 迁移，那么对象储存，就可以使用阿里云的 OSSImport 工具。

介绍

OssImport 工具可以将本地、其它云存储的数据迁移到OSS，它有以下特点：

• 支持的丰富的数据源，有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等，并可根据需要扩展；
• 支持断点续传；
• 支持流量控制；
• 支持迁移指定时间后的文件、特定前缀的文件；
• 支持并行数据下载、上传；
• 支持单机模式和分布式模式，单机模式部署简单使用方便，分布式模式适合大规模数据迁移。

阿里集团内部像淘宝、优酷都已经完成了向阿里云的迁移工作，而存储数据的传输就是应用的 OssImport，所以 OssImport 是经历过大量数据迁移考验的，是一款非常成熟的迁移工具。

要求 & 收获

需要使用到的产品：

1. 任意（包括非阿里云）服务器/ECS （阿里云服务器可以不计推送到 OSS 的流量）
2. 阿里云 OSS
3. 其他非阿里云的对象储存产品

通过本文你将讲学到：

1. 安装 Java 环境
2. 使用 OSSImport 迁移对象存储文件

教程

安装 Java

OSSImport 的运行需要 Java 1.7 以上版本，所以我们需要在服务器中安装 Java 运行环境。

这里以 Ubuntu 16.04 LTS 为例。 OSSImport 的单机模式支持 Windows 和 Linux 发行版，所以只要安装好了 Java 环境都可以使用 OSSImport。

一、安装依赖

apt-get install python-software-properties software-properties-common

二、添加PPA源，由 webupd8team 团队制作的快速命令行安装 Java 的工具

add-apt-repository ppa:webupd8team/java

三、刷新软件源缓存并安装

apt-get update
apt-get install oracle-java9-installer

四、查看安装后版本

java version

例如：

root@MF8.biz:~/ossimport# java version
Error: Could not find or load main class version
Caused by: java.lang.ClassNotFoundException: version
root@iZuf60ssdog3u50holkx23Z:~/ossimport# java -version
java version "9.0.4"
Java(TM) SE Runtime Environment (build 9.0.4+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.4+11, mixed mode)

下载 OSSImport

上图是迁移架构的图解，OssImport 有 单机模式 和 分布式模式 两种部署方式。对于小于 30TB 的小规模数据迁移，单机模式即可完成。对于大规模的数据迁移，请使用分布式模式。

这里介绍的是 单机模式 的部署，毕竟我暂时也接触不到大于 30TB 的数据迁移嘛。

一、下载 OSSImport

wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip

二、修改配置文件

配置文件有 conf/sys.properties 和 conf/local_job.cfg ，前者主要是运行环境的参数，如果数据迁移量特别大建议把内存改大点。 后者是我们迁移的重点。

不同对象储存产品迁移的配置文件模板可以在下面选择：

配置 OSSImport

这里以腾讯云的 COS 的迁移为例来介绍，如何配置。

一、复制模板文件内容，将上面下载的 job.cfg 文件内容复制替换 conf/local_job.cfg 的内容，或者干脆删掉重命名也没问题。

二、是否开启增量传输（可选），如果像论坛、门户这样多用户的网站想不关站迁移以做到用户无感知的话，就需要进行增量传输，也就是传输一遍以后扫描列表看看有没有新增的文件再进行传输。把第 2 行的 isIncremental=false 改为 isIncremental=true，像博客、CMS这种单管理员用户的默认的话不用增量就行。

三、腾讯云的源access key，在 COS 的控制台左侧列表中就有 密钥管理

点击前往 API密钥管理 查看，如果没有就新建一个：

然后修改对应在第 20 和 23 行的内容，改为自己对应的 srcAccessKey 和 srcSecretKey

#源access key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的acceess key/accss key id,又拍云填写操作员账号srcAccessKey=AKID******6ZEBKUn6D3mSJFMZ******GA1g#源secrect key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的secret key/access key secret,又拍云填写操作员密码srcSecretKey=dQ8g******bWn6jInD7vYz******341m

四、修改所在地域 第 34 行的的内容，其实配置文件中默认有介绍：

#7.腾讯云: cos v3版本不需要填写;cos v4版本需要填上bucket所在的区域，比如华南园区填写:gz,华北园区:tj,华东园区:shsrcDomain=sh

例如我的 Bucket 是在 华东 的，那就是 sh 不变了。

五、srcBucket 也就是要迁移的 Bucket 的名称，例如我这个是 qcloud-demo 那就填 qcloud-demo

六、修改源前缀 是不是要迁移 Bucket 下的某个目录了，一般来说还是留空的好，第40行的内容：

#源前缀，默认为空，如果srcType=local，则此目录是本地目录，如果是其他类型，则是源Bucket里需要同步的Object的前缀,注意如果是本地目录，需要完整目录路径(以'/'进行分割并且以'/'结尾,例: c:/example/)
srcPrefix=

像我这样，等号后面啥都不要，留空即可。

七、阿里云的Accesskey 第 44 和 47 行，也就是，建议使用 RAM 实现，可以参考 《使用 AliCloud Duplicity 将服务器文件备份至 OSS》 中设置 RAM 的教程

#目的 access keydestAccessKey=Jwd1******nMnZBs#目的 secret keydestSecretKey=ir8Qt*****jwh5b0eF******xM5QE

八、修改目的endpoint 注意是只要 EndPoint 就行而不是 访问域名，这时候 ECS 的优越性就来了，上传的时候走内网带宽不计流量而且带宽够大。

destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com

九、目的bucket 这个不用多说，就是 OSS 的 Bucket 名称了。

十、destPrefix 和上面第六步的前缀名称对应，如果是空的那么这一步也留空，如果是有目录的那也留目录。

十一、腾讯云 APPID，第 63 行的 APPID 在 https://console.cloud.tencent.com/developer 可以看到

十二、数据校验（可选） ，最后一行，对数据进行校验，防止数据传输发生错误。个人建议用第三种 MD5 校验的方式更可靠一点，不过时间也更长，修改为：

auditMode=detailed

使用 OSSImport

修改好上述文件以后进行保存，然后在解压后的文件夹中运行：

bash import.sh

如果是 Windows Server 就在 cmd.exe 中执行：

console.bat start

注：

Job运行信息，可以查看log/ossimport2.log；
Task的失败原因，可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log；
Task的失败文件，可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/error.list

如果运行出错可以参考：https://help.aliyun.com/knowledge_detail/57110.html 针对反馈结果进行拍错。

可以看到我的文件都已经成功的完成了迁移：