备份软件分布式索引架构

ICT架构师技术交流

在备份软件中,数据索引是备份软件有效管理、恢复、检索数据的基础,随着备份数据量和文件数增大,数据备份时会产生巨大的索引。在传统集中式索引方式中,索引数据库存放在备份管理服务器上,每条索引信息的读写都要通过该管理服务器,这就使得备份管理服务器很容易成为整个备份系统的瓶颈,系统的性能及扩充能力会受到极大限制。

另外,每次数据备份、归档完以后, 为了保证索引数据的可靠性,还需要单独对索引进行备份,当索引越来越大时,备份索引的时间比一次正常的备份、归档任务还长,极大影响生产系统的运行。当集中式索引一旦整体破坏或丢失,重建非常耗时往往需要很长时间。

Simpana采用集中管理的分布式索引技术(二级索引技术),有效的改进了集中索引的缺陷,Simpana索引分为数据对象索引,数据内容索引和数据分类索引。其中数据对象索引记录了备份、归档对象(文件、邮件、VMs和数据库等)属性,索引记录多、数据量大。数据内容索引主要用于对备份、归档数据进行内容索引,是法规遵从的基础;数据分类索引主要用于对数据文件分类,提高数据备份和归档效率。

一级索引(汇总索引)由Comm Server管理维护、保存、并定时备份到备份介质中,一级索引跟踪每个介质上的备份任务,相关字段包括:时间,计算机名,任务类型,磁带编号等;该索引是二级索引的汇总索引,存放在MS SQL数据库中。

二级索引(详细索引)由Media Agent管理维护、保存在一个关系式数据库,包含了每个备份任务的详细信息,二级索引会在MA磁盘上存储、缓存来提高性能,为了保证数据可靠性,这些索引会和相关的备份数据同时备份到磁带上。

一级索引基本上是每个备份任务有一条记录,数量不会很大;在二级索引中,即使一个备份任务,都有可能有成千上万条的记录;例如,备份一个Windows操作系统盘,就有可能有4万多条记录,对应4万多个文件。

分布式(二级索引)架构也非常适合多分枝站点备份,每个分支站点介质服务上保留本地的二级索引,备份管理服务器只提供一级索引和集中任务管理。

二级索引由本地介质服务器维护并周期备份,减少索引数据在广域网上传输,减少网络带宽资源。

备份和恢复对索引操作

用户通过Simpana创建备份任务和备份策略后,当备份周期触发备份时,管理服务器CS将执行备份任务,首先创建一级索引的任务记录,发命令让iDA扫描业务服务器上的备份数据,生成备份文件列表,并产生二级索引的主要字段。

接着根据备份文件列表,启动数据备份,同时计算每个文件的备份位置,由Media Server修改二级索引,将二级索引写到备份介质中,再次修改相关汇总索引记录。

在进行数据恢复时,CommServer先根据一级索引记录,找到存放二级索引的磁带或备份介质,并且计算出索引存放位置,将二级索引数据恢复到介质服务器的索引缓存中。

然后从介质服务器上的二级索引中,将备份数据列表传送给管理服务器,供用户浏览和选择,用户可以选择要恢复的数据或备份集,根据用户选择的恢复数据,恢复出对应时间点的备份数据。

数据索引的维护

一级索引在CV系统中,默认就是1个周期备份任务;该任务是每天定时或用户手动启动,将CommServer服务器上的元数据(包括一级索引、重删数据库,重删数据库将在后续文章介绍)自动备份到磁盘和磁带上。

当元数据或一级索引数据损坏,Simpana提供相应GUI工具来恢复,整个恢复流程先从备份的近线磁盘上恢复;如果磁盘上备份的元数据也损坏了,那么就必须从离线磁带备份副本上恢复到磁盘上,再恢复到Simpana CommServer中。

二级索引在Simpana备份数据的时候,就和备份数据一起写入该备份任务的备份数据集合中进行保护,当磁盘索引损坏的时候,Simpana能够根据一级索引的记录,找到该任务二级索引的存放位置,自动的把它恢复到介质服务器的磁盘中。

温馨提示:

请搜索“ICT_Architect”“扫一扫”下面二维码关注公众号,获取更多精彩内容。

【备份专题】备份软件分布式索引架构相关推荐

  1. 【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制(上篇)

    背景介绍 最近大家都相比遇到了就业瓶颈了,很多公司要不就是不招人了,要不就是把门槛抬的很高,所以针对于一些分布式角度而言的技术知识点,更是必备条件以及重中之重了.那么今天笔者就针对于分布式协议以及一些 ...

  2. 【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制(Paxos篇)

    概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法,是目前公认的解决分布式一致性问题最有效的算法之一. 发展历史 Paxos算法的发展历史追溯到古希腊,当时有一个名为"Pax ...

  3. 【备份专题】备份软件体系架构解析

     备份软件体系架构解析 ICT架构师技术交流 从今天开始,我将陆续分享有关备份架构和特性系列知识,数据保护方案目前主要分了两大类,一类是备份,另一类是容灾.备份主要是对数据提供多副本冗余,当数据发 ...

  4. 重庆市公安局北碚分局所需容灾备份设备及软件采购

      项目编号:BBZC12-106-1 项目名称:重庆市公安局北碚分局所需容灾备份设备及软件采购 重庆市北碚区公共资源综合交易中心 二〇一二年六月二十五日 第一部分 招标邀请书 重庆市北碚区公共资源综 ...

  5. Veeam 跻身 Gartner 2016 数据中心备份和恢复软件魔力象限领导者象限

    北京- 2016 年 6月21 日- 提供 Availability for the Always-On Enterprise™(企业级业务永续的可用性)解决方案的创新公司Veeam® Softwar ...

  6. Elasticsearch7.x索引index的备份和恢复,index索引误删恢复

    Elasticsearch不仅提供了索引副本分片功能,还支持索引备份,尤其适合index索引误删或者数据丢失情况的恢复. 具体实现方式是,创建索引备份仓库→备份索引快照到仓库→查询索引备份仓库中快照列 ...

  7. 曦力DVD备份及转换软件 Xilisoft DVD Ripper Ultimate 6绿色版

    用WinRAR解压即可运行,无需安装.可以拷贝到USB硬盘,便于携带 [下载地址] http://u.115.com/file/cln6a28w http://www.rayfile.com/zh-c ...

  8. 易数一键还原(免费的系统备份与还原软件)------创建命令行工具

    易数一键还原是一款免费的系统备份与还原软件,支持增量备份与多时间点还原,还支持多钟应急还原方式. 现在该软件将其命令行公开,便于计算机爱好者研究,下面是创建命令行工具下载地址: http://pan. ...

  9. 写作爱好者福音:会自动备份的写作软件

    随着互联网技术的发展和各种小说网站平台的涌现,越来越多有创作梦想的人开始兼职写手,将自己的小说更新到平台上.在创作小说时,一个好用的.可用于码字的写作工具是必不可少的. 现在几乎每个人都离不开手机,因 ...

最新文章

  1. 便携式不锈钢管道焊接机器人_不锈钢管道焊接工艺
  2. 手机客户端连接linux
  3. boost::fusion::find用法的测试程序
  4. java访问oracle集群,JAVA查询Oracle数据库集群连接字符串
  5. 数组的连续子数组最大和(首尾相连)
  6. python在哪里画柱形图_Python笔记:用pyecharts绘制柱形图
  7. php下载地址转换工具,php把url转换迅雷thunder资源下载地址的简单示例
  8. 第十五周项目3-在OJ上玩指针
  9. C语言自学之路十(用C语言编写小游戏-五子棋)
  10. Python数据有效性DataValidation模块
  11. 海尔简爱s11装Linux,海尔简爱S11值得买吗 海尔简爱S11全面深度评测详解
  12. 捷得(Joget DX)产品发展路线图
  13. Failed to check the status of the service. No provider available for the service【已解决】
  14. 如何将多张图片拼成一张图?
  15. V2Ray启动时显示Fatal error:can't bind to127.0.0.1:XXXXX解决方案
  16. python风格变换图片_利用神经网络轻松把照片转换成梵高风格
  17. 对象 php 输出用字符串连接,在PHP中使用 在使用echo或print输出对象时将对象转化为字符串。_学小易找答案...
  18. python可以开发app吗-惊呆!那些顶级App居然是用Python开发的
  19. 在学RTX之前的操作系统知识
  20. 火车余票查询API 一

热门文章

  1. php 如何防止盗链,如何在PHP程序中防止盗链
  2. 机器学习-Pandas
  3. 深入浅出C语言——数组
  4. tkinter 模块的最强辅助模块 —— tkintertools(万字详解)
  5. C++语言Qt实现 串口软件 用于嵌入式软件开发上位机通信调试软件
  6. try catch 语句
  7. 路由器显示dhcp服务器连接失败怎么办,TP-Link路由器桥接提示“获取IP地址失败,请检查DHCP是否开启”怎么办...
  8. 如何用MATLAB写欧氏看涨看跌期权(B-S模型)的代码
  9. 数字标牌|Digital Signage|触控自助终端机行业应用
  10. 模拟银行自助终端系统(序列化和反序列化)