存储数据迁移解决方案

实践场景

对于拥有本地 IDC 的用户，对象存储（Cloud Object Storage，COS）在不同迁移类型上支持以下迁移方式，帮助用户将本地 IDC 的海量数据快速迁移至 COS。

迁移方式	说明
（线上迁移）	COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。用户只需要通过简单的配置操作，便可将数据快速迁移至 COS 中。
（线下迁移）	云数据迁移（Cloud Data Migration，CDM）是利用腾讯云提供的离线迁移专用设备，帮助用户将本地数据迁移至云端的一种迁移方式，可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。

用户可依据数据迁移量、IDC 出口带宽、IDC 空闲机位资源、可接受的迁移完成时间等因素来考虑如何选择迁移方式。下图展示的是使用线上迁移时预估的时间消耗，可以看出，若此次迁移周期超过10天或者迁移数据量超过50TB，我们建议您选择 CDM 进行线下迁移。否则，请选择线上迁移。

注意：

1MB 以下的小文件数量较多、磁盘 IO 性能不足等也会影响到数据的迁移进度。

迁移实践

COS Migration

迁移操作步骤如下：

安装 Java 环境。
安装 COS Migration 工具。
修改配置文件。
启动工具。

操作技巧

下面介绍如何配置 COS Migration 能最大程度提高迁移速度：

根据自身网络环境调整区分大小文件的阈值和迁移并发度，实现大文件分块，小文件并发传输的最佳迁移方式。调整工具执行时间和设立带宽限制，保证自身业务运行不受迁移数据带宽占用影响。上述调整可在配置文件 config.ini 中[common]分节，修改如下参数进行调整：

参数名称	参数说明
smallFileThreshold	小文件阈值参数，大于等于这个阈值使用分块上传，默认设置为5MB。
bigFileExecutorNum	大文件并发度，默认值为8。如果是通过外网来连接 COS，且带宽较小，请减小该并发度。
smallFileExecutorNum	小文件并发度，默认值为64。如果是通过外网来连接 COS，且带宽较小，请减小该并发度。
executeTimeWindow	该参数定义迁移工具每天执行的时间段，其他时间则会进入休眠状态，休眠状态暂停迁移并会保留迁移进度，直到下一个时间窗口自动继续执行。

采用分布式并行传输可以进一步加快迁移速度。用户可以考虑使用多台机器安装 COS Migration 并分别执行不同源数据的迁移任务。

云数据迁移 CDM

迁移操作步骤如下：

前往云数据迁移 CDM 控制台提交申请。
申请审核通过后，用户等待签收设备。
收到设备后，按照迁移设备手册把数据拷贝至设备。
完成数据拷贝后，在控制台提交回寄申请并等待腾讯云把数据迁往 COS。

操作技巧

下面介绍如何高效安全通过离线迁移把数据迁移至腾迅云 COS。

在 IDC 配置10Gbps的网络环境，为避免本地数据环境成为传输瓶颈，您可配备高性能的挂载点机器，最大程度加速拷贝。
适用 CDM 传输数据最快的方式是并行传输数据，用户通过监控设备的 CPU 和内存使用率，如果当前迁移速度低于预期，可以选择以下并行传输方式。
- 多台设备通过不同网络接口连接同一台 CDM 设备。
- 多台设备通过不同网络接口连接多台 CDM 设备。

存储数据迁移解决方案相关推荐

Hadoop数据迁移解决方案上
Hadoop数据迁移解决方案数据迁移场景冷热集群数据同步.分类存储集群数据整体迁移数据的准时同步数据迁移考虑的因素 Bandwidth-带宽带宽用多会影响到线上业务的任务运行,带宽用的少会 ...
HDFS数据迁移解决方案之DistCp工具的巧妙使用
HDFS数据迁移解决方案之DistCp工具的巧妙使用参考文章: (1)HDFS数据迁移解决方案之DistCp工具的巧妙使用 (2)https://www.cnblogs.com/felixzh/p/ ...
SharePoint 数据迁移解决方案
来源于:http://www.cnblogs.com/jianyus/p/3262613.html 前言:说来惭愧,我们的SharePoint内网门户跑了2年,不堪重负,数据量也不是很大,库有60GB ...
天翼云对象存储数据迁移至minio
公司iot数据利用天翼云对象存储接收,公司需要将部分数据迁移至公司机房做分析,故有从天翼云转存至内部minio需求. 数据流程天翼云oss->天翼云主机->专线->minio 接入 ...
oracle 数据库数据迁移解决方案
大部分系统由于平台和版本的原因,做的是逻辑迁移,少部分做的是物理迁移,接下来把心得与大家分享一下去年年底做了不少系统的数据迁移,大部分系统由于平台和版本的原因,做的是逻辑迁移,少部分做的是物理迁移, ...
电脑知识：新电脑数据迁移解决方案，看完你就会了！
今天小编给大家分享几种比较实用的电脑数据迁移的方案,希望对大家能有所帮助! 一.将旧电脑硬盘拆下安装到新电脑上这是最简单粗暴的办法,虽粗暴,可直接有效啊!特别适合要转移数据量特大的,因为我们都知道硬 ...
上云迁移-海量数据迁移解决方案
摘要:传统数据存储在线下数据中心,存在成本高.运维难.性能难保障等等多方面的问题.阿里云提供闪电立方.OSS/NASImport.混合云存储阵列.镜像回源.302跳转.伪源站等六大解决方案为企业提供不 ...
sap服务器迁移性能问题,专家详解SAP数据迁移的六个方法
[IT168现场报道] 以"蕴韬略促转变"为主题的SAP商业同略会暨SAP全球技术研发者大会(以下简称大会)于2011年11月15~17日在北京国家会议中心召开. 在SAP全球技 ...
我在MongoDB年终大会上获二等奖文章：由数据迁移至MongoDB导致的数据不一致问题及解决方案...
作者 | 上海小胖来源 | Python专栏(ID:xpchuiit) 故事背景企业现状 2019年年初,我接到了一个神秘电话,电话那头竟然准确的说出了我的昵称:上海小胖. 我想这事情不简单,就回 ...
ecs服务器数据迁移_某国际物流集团的云迁移解决方案
新钛云服已为您服务905天云计算流行当下,使用新技术较早的互联网企业,已基本实现云计算实施.传统企业也开始接触云计算并进行使用,但由于与互联网轻实体资产的模式不同,其往往面临着业务迁移上云的难题.云 ...