阿里云OSS不同账号之间的迁移(使用阿里云自带的ossimport工具)

一、Ossimport概述
ossimport是一款将数据迁移至OSS的工具。您可以将ossimport部署在本地服务器或云上ECS实例内，轻松将您本地或其它云存储的数据迁移到OSS。
ossimport具有以下特点：
支持丰富的数据源，包括本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等，并可根据需要扩展。
支持单机模式和分布式模式。单机模式部署简单使用方便，分布式模式适合大规模数据迁移。
支持断点续传。
支持流量控制。
支持迁移指定时间以后的文件、特定前缀的文件。
支持并行数据下载和上传。
二、运行环境配置
ossimport可以部署在Linux或Windows系统上，要求如下：
Windows7及以上版本
Linux系统最新版本
Java 1.7及以上版本
配置jdk

[root@host~]# yum install -y java
[root@host~]# java --version
openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

三、部署方式选择
ossimport有单机模式和分布式模式两种部署方式。
单机模式：当您需要迁移的数据小于30TB时，推荐部署单机模式。您可以将ossimport部署在任意一台可以访问您待迁移数据，且可以访问OSS的机器上。
分布式模式：当您需要迁移的数据大于30TB时，推荐部署分布式模式。您可以将ossimport部署在任意多台可以访问您待迁移数据，且可以访问OSS的机器上。
以下为单机模式
四、下载并部署ossimport

# wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip?spm=a2c4g.11186623.2.12.58b029d8vsI8DG&file=ossimport-2.3.1.zip
# cd /usr/local && mkdir ossimport
# unzip ossimport-2.3.1.zip -d ossimport/

单机模式下文件结构如下：

ossimport
├── bin
│ └── ossimport2.jar  # 包括Master、Worker、Tracker、Console四个模块的总jar
├── conf
│ ├── local_job.cfg   # 单机Job配置文件
│ └── sys.properties  # 系统运行参数配置文件
├── console.bat         # Windows命令行，可以分布执行调入任务
├── console.sh          # Linux命令行，可以分布执行调入任务
├── import.bat          # Windows一键导入，执行配置文件为conf/local_job.cfg配置的数据迁移任务，包括启动、迁移、校验、重试
├── import.sh           # Linux一键导入，执行配置文件为conf/local_job.cfg配置的数据迁移任务，包括启动、迁移、校验、重试
├── logs                # 日志目录
└── README.md           # 说明文档，强烈建议使用前仔细阅读
其中：
Job：用户通过提交的数据迁移任务，对用户来说一个任务对应一个配置文件job.cfg。
Task：Job按照 “数据大小” 和 “文件个数” 可以分成多个 Task ，每个 Task 迁移部分文件。Job切分成Task的最小单位是文件，同一个文件不会切分到多个Task中。
注意：
执行命令时请保证工作目录为 import.sh 的同级目录，即直接执行 bash import.sh

五、修改单机Job的配置文件local_job

[root@host~]# vim /usr/local/ossimport/local_job.cfg #修改单机job配置文件
#以下为需要修改的内容
isIncremental=false    #不开启增量模式
srcAccessKey=ADSCVSDdc8OOFwececHd5 #配置源oss的access key
srcSecretKey=fjOKSDksdxceca8O57wdmPV   #配置源oss的SecretKey
srcDomain=http://oss-cn-hangzhou-internal.aliyuncs.com #配置源oss的内网地址
srcBucket=abcimg   #配置源Bucket名称
destAccessKey=LTAIabQkcs7sxZqMd    #配置目标access key
destSecretKey=aPKlasdfickv9wsd23ZOUKo4sd   #配置目标secret key
destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com    #配置目标oss的内网地址
destBucket=abcoss  #配置目标bucket名称

local_job的配置文件解析请移步官网阿里云对象存储配置
六、执行迁移

[root@host~]# cd /usr/local/ossimport
[root@hostossimport]# /bin/bash import.sh

提示：
Job运行信息，可以查看log/ossimport2.log。
Task的失败原因，可以查看master/jobs/JobName/failedtasks/{JobName}/failed_tasks/JobName/failedtasks/{TaskName}/audit.log。
Task的失败文件，可以查看master/jobs/JobName/failedtasks/{JobName}/failed_tasks/JobName/failedtasks/{TaskName}/error.list。

阿里云OSS不同账号之间的迁移(使用阿里云自带的ossimport工具)相关推荐

阿里云OSS不同账号之间迁移
在线迁移地址 https://mgw.console.aliyun.com/?spm=a2c4g.11186623.2.12.69e6614c69m3FP#/job?_k=6w2hbo 需申请白名单( ...
oss子账号_阿里云OSS子账号RAM权限设置方法
怕oss管理人员误操作把oss里面的Bucket删除怎么办?创建阿里云子账号即可.这里说下阿里云OSS子账号RAM权限设置方法. 最新更新:阿里云RAM权限生成工具首先进入阿里云后台设置子账号的页面 ...
java的springboot项目操作阿里云OSS下载文件、查看文件内容、上传文件，自定义工具类
因为要从oss下载.查看.上传工具类,所以对这几个方法做了一个封装,已经经过测试,可以直接使用 1.yml添加上阿里云配置.添加maven配置注意这里的objectName: xxx/xxx/,前面 ...
Typora+阿里云OSS（将图片上传到阿里云服务器上）
1..阿里云OSS搭配PicGo实现图床 1.1.PicoGO 首先去PicGo官网下载 PicGo 一下,安装后打开如下: 2.2.阿里云对象存储OSS购买和配置阿里云->产品->对象 ...
微信头像下载并上传到阿里云OSS，PHP文件上传到阿里云OSS简单代码（OSS文件上传，微信头像下载，CURL下载文件，微信头像链接过期）
(就这么个小事,有多少公司多少项目没做到!!) 微信公众号项目,后端获取到授权用户的微信头像后,要自行下载保存,不下载的话,微信返回的头像链接会在一段时间后过期,无法访问! 下面是我写的两个简单实用方 ...
redis的rdb文件在不同服务器之间的迁移导入阿里云redis
我是将本地的6380与6381的redis导入到阿里与redis 首先导入的是3680端口的数据 (1)关闭要迁移到的服务器的redis的aof日志功能(我的要迁移到的是本机的redis6380.co ...
在阿里云OSS，如何更好搭建自己的云储存
目前,对于互联网的疯狂发展,数据储存成为了大多数个人或小公司的瓶颈.由于服务器的磁盘空间不是很大.宽带也不是很充足.储存网站的内容成为了一笔较大的开销.尤其是有下载.视频.音乐等业务的网站来说,那更是 ...
【云计算的1024种玩法】轻松将其他云的对象储存迁移至阿里云OSS
前言当使用了像 OSS.S3 这样的开放对象储存的 PaaS 产品后,一面上体验到了网站核心同附件库分离的安全性.高性能以及免维护的便利性,一面上却又怕在一个厂家的对象储存上扎根了就无法迁移,会被厂 ...
阿里云mysql用户名和密码是什么_阿里云服务器数据库账号密码是什么
阿里云服务器数据库账号密码是什么,阿里云虚拟机数据库. 在阿里云ecs云服务器上部署数据库后,在平常的操作中可能会遇到些问题,可以先做个大致的了解: 如果您想看更多的在ecs上的数据库的相关操作,请前 ...

阿里云OSS不同账号之间的迁移(使用阿里云自带的ossimport工具)

阿里云OSS不同账号之间的迁移(使用阿里云自带的ossimport工具)相关推荐

最新文章

热门文章