2019独角兽企业重金招聘Python工程师标准>>>

数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。

分离式部署的方式,使得系统与云平台系统相独立,避免了计算和存储争抢CPU/内存/网络等物理资源,一旦某一方资源需求骤升导致的另一方资源枯竭,从而影响性能并在整个基础架构中产生的涟漪效应;和在超融合部署方式在集群规模较大后,网络、硬盘、服务器发生故障的概率都会增大;以及数据重删、压缩、加密纠删码等功能、故障的自修复和数据功能实现都会消耗一定的系统资源,导致性能下降和抖动等问题。

分离式部署相比超融合方式的优点:

如此观点如果不是出自某厂家或者供应商,也太偏颇了。我觉得简单看两种技术适合不同规模,中小规模(包括平台规模,也包括人力资源规模)下超融合优势明显,大规模分布式存储优势更大。良好的设计,恰当的平衡才是关键,没有一边倒的绝对优势。

建议采用超融合式部署模式。

1、从成本上讲,超融合式每个服务器既可以做计算资源,又可以做存储资源,性价比最高。

2、从性能上讲,分布式存系统,一般只占用服务器资源的10%左右,还有90%的性能可以使用。而且目前X86服务器的CPU性能越来越高,如果闲置不用,比较可惜,利用率太低。

3、从管理上讲,每台X86物理设备都一样,方便横向扩展和管理,每增加一个节点,就同时增加了计算资源和存储资源,有利于管理。目前,百度和阿里的云数据中心基本都是这么做的。

一、 超融合的概念 

超融合(Hyper- Converged)目前还没有一个严格的标准定义, 各个厂商和机构都有各自的定义,这也说明超融合仍然处于快速发展演变当中,并未形成统一的标准规范。 超融合中“超”对应英文“Hyper”,特指虚拟化,对应虚拟化计算架构,如 KVM、XEN、Hyper-V 等。这一概念最早源自 Nutanix 等存储 厂商将 Google/Facebook 等互联网厂商采用的计算存储融合架构用于 虚拟化环境,为企业客户提供一种基于 X86 硬件平台的计算存储融 合产品或解决方案。按照这个概念,数据库一体机和大数据一体机都 不能为超融合的范畴,因为RAC/Hadoop等应用并非运行在虚拟机 之上。此外,超融合架构中最根本的变化是存储,由原先的集中共享 式存储(SAN/NAS)转向软件定义存储,特别是分布式存储。

超融合中的“融合”是指计算和存储部署在同一个节点上,同时提供计算和存储能力。融合一般可以分为物理融合和超融合两种,超融 合是融合的一个子集。物理融合系统中,计算和存储仍然可以是两个 独立的组件,没有直接的相互依赖关系,共享主机的物理资源。超融 合与物理融合不同在于,重点以虚拟化计算为中心,计算和存储紧密 相关,存储由控制器虚拟机(Controller VM,CVM)而非物理机来控 制并将分散的存储资源形成统一的存储池,用于创建用户的应用虚拟机。物理融合与超融合对比如所示。出于性能考虑,超融合架构通常 都需要将主机物理设备透传(Pass Through)给控制器虚机 CVM。

超融合架构是基于标准通用的硬件

平台,通过软件定义实现计算、存储、网络融合,实现以虚拟化为中 心的软件定义数据中心的技术架构。要判断一套系统是否采用超融合 架构,主要基于以下几点:

(1) 完全软件定义。独立于硬件,采用商业通用标准硬件平台(如 X86),完全采用软件实现计算、存储、网络等功能。

(2) 完全虚拟化。以虚拟化计算为中心,计算、存储、网络均由 虚拟化引擎统一管理和调度,软件定义存储由虚拟机控制器 CVM 进 行管理。

(3) 完全分布式。横向扩展的分布式系统,计算、存储、网络按 需进行动态扩展,系统不存在单点故障,采用分布式存储。

二、 超融合架构发展情况和案例

未来 5 至 10 年新一代数据中心基础架构朝着软件定义和超融合 方向发展,SAN/NAS 存储逐渐被软件定义的存储所替代。在软件定 义存储(SDS)的推动下,超融合将成为数据中心基础架构的核心, 并且是软件定义数据中心(SDDC)的未来技术发展趋势。基于多种 复杂设备的数据中心最终会归一化成以通用服务器加互连网络的体 系架构。在这些通用服务器上部署关键的软件,通过虚拟化的方式实 现计算、存储资源。然后再在这些虚拟化资源的基础上部署应用,完 成具体功能。

存储、计算和网络的深度融合是未来IT基础设施发展的大趋势, 超融合架构因此成为企业级客户的首选,加速业务系统从传统架构向 云计算架构的转型。IDC 的统计报告显示,2016 年全球超融合市场规 模预计将增长 94%。另一家市场分析公司 Gartner 预计,2019 年全球 超融合市场的规模将超过 1000 亿美元,有大约 30%安装在企业数据 中心内的存储阵列都将是部署在软件定义存储或者基于 x86 硬件系 统的超融合集成系统架构。

2016 年以来,中国超融合市场持续升温,越来越多的超融合团队 逐渐发展起来。根据市场研究和咨询公司 Gartner 在 2016 年 11 月针 对中国超融合市场趋势发布的报告,思科、HP、Dell、EMC、NetApp 等老牌服务器和存储大厂纷纷将技术与产品战略转向超融合的路线 上来。报告指出,中国一跃成为全球超融合基础架构增速最快的市场,

国内的 H3C、华为、Nutanix、联想、SmartX、深信服等厂商迅速跟 进了国际主流超融合解决方案。

目前超融合架构在国内的主要应用案例如下:

政府相关机构:中国检查出版社,中国证监会,中国互联网信息 中心,中国大连市政府,青海水利,广州地税局数据库虚拟化,国家卫计委云数据中心,湖北省公安厅审计平台,厦门公安局警务云平台, 最高法司法统计管理平台,深圳海关业务系统,广东海事局智慧海事 平台,中国(西安)丝绸之路研究院,温州医科大学第一附属医院等。

金融行业:招商银行,中银证券,南京证券,中信银行等。 制造行业:东风本田,宝山钢铁,中铁资源集团有限公司等。 IT 企业:科陆电子,联想集团,中国联通沃云,中国电信等。 教育行业:中国地质大学,中国科技大学,南开大学,北京邮电大学,北京外交学院,陕西省行政学院等。

三、 超融合架构的优势

超融合架构迅速发展的原因是其具有显着的优势,能够带来极高 的客户价值。超融合架构实现了计算、存储、网络等资源的统一管理 和调度,具有更弹性的横向扩展能力,可以为数据中心带来最优的效 率、灵活性、规模、成本和数据保护。使用计算存储超融合的一体化 平台,替代了传统的服务器加集中式存储的架构,使得整个架构更清 晰简单,极大简化了复杂 IT 系统的设计。

超融合架构关键特征之一就是易于扩展,最小部署,按需扩容。 超融合厂商宣称最大集群规模也差别很大,从数十到数千节点不等, 通常从 3 节点起配。超融合中计算能力、存储性能和容量是同步扩容 的,无法满足现实中单项能力的扩展,有些厂商还对扩容最小单元有 要求,扩展灵活性会受到限制。

集群达到一定规模后,系统架构复杂性就会非线性增加,集群管 理变的更加困难,硬件故障和自修复发生的概率也会大大增加。因此, 超融合架构一般不建议构建大集群,如果业务允许尽量构建多个适当 规模的较小集群,或者采用大集群中构建故障域或子资源池的方式。

物理设备透传给控制虚机,增加了部署配置管理的复杂性。计算和存 储对硬件平台的要求都不同,融合后也会一定程度上增加兼容性验证的复杂性。超融合架构下,管理、计算、存储、高可用通常都需要配置独立的虚拟网络,网络配置也会更加复杂。同时,共享物理资源的 分配、隔离、调度,这也是额外增加的复杂性。如果出现故障,问题的跟踪调试和分析诊断也变得更加困难。

超融合架构下的存储逻辑单元已经拥有了很多过去高级存储才具备的功能,但是在数据保护,复制,容灾,高可用,这些关系到数据存储层面的需求是超融合厂商不会花精力去关注也无法关注的,同时架构本身的局限性带来的用户选择面也比较窄,你无法把超大规模的计算中心全部塞满超融合架构,用户对于结构化和非结构化数据的海量增长这种数据存储的异构需求不适合全部交给超融合来解决,很多用户原本希望计算跟存储分布扩容,或者计算跟存储占比比较失衡的情况,比如计算资源需求很大,存储资源需求很小,或者相反的情况全部交给超融合,这样一股脑全部交给超融合的架构设计是相当糟糕的。

转载于:https://my.oschina.net/u/3793864/blog/1941560

大数据存储解决方案的两种部署模式-分离式与超融合相关推荐

  1. 大数据分布式存储方案的两种部署模式-分离式和超融合

    数据中心内部系统的核心要求是"稳定可靠",一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行:二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延. 分离式 ...

  2. 主流大数据存储解决方案评析

    EMC Isilon:横向扩展 性能突出 大数据存储不是一类单独的产品,它有很多实现方式.EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理 ...

  3. Solr系列二:solr-部署详解(solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解)...

    一.solr两种部署模式介绍 Standalone Server 独立服务器模式:适用于数据规模不大的场景 SolrCloud  分布式集群模式:适用于数据规模大,高可靠.高可用.高并发的场景 二.独 ...

  4. vue项目:大屏自适应解决方案(两种)

    css缩放方案: 利用transform:scale 进行适配 推荐使用v-scale-screen 值得注意的是: vue 2.6.2.7 要使用 npm install v-scale-scree ...

  5. 大数据价值变现的10种商业模式

    2012年,马云在网商大会上震耳发聩地喊出:我们将进入大数据时代.那一年,阿里巴巴集团设立了"首席数据官"一职,并推出大型数据分享平台"聚石塔"--这是中国大数 ...

  6. 大数据价值变现的10种商业模式及利弊分析

    有人说大数据是「石油」是「黄金」,涂子沛说大数据是「土壤」,而马云说大数据是「生产资料」,我觉得他们说得都对,但是也都不对. 因为大数据就是「大数据」. 当大数据应用在不同的领域和不同的场景下,所产生 ...

  7. 大数据应用常见的6种商业模式

    每一个新兴的行业都会衍生出很多种商业模式,每一种商业模式都能抵达成功,都有可能实现盈利,大数据作为一个新兴的行业,商业模式需要从事于这一行业的人不断探索,不断优化改进,不断创新挖掘出有价值的商业模式. ...

  8. .NET的两种部署模式,了解一下

    前言 以往部署程序一直是习惯性先安装运行时环境,然后再将发布打包好的程序运行起来:但当多个程序依赖不同版本框架平台时,如果部署在同一台机器上,那就需要在同一台机器上安装多个版本的运行时,总感觉有点不太 ...

  9. 大数据存储技术期末复习

    单选题 1.以下关于云计算.大数据和物联网之间的关系,论述错误的是: A.物联网可以借助于云计算实现海量数据的存储 B.物联网可以借助于大数据实现海量数据的分析 C.云计算.大数据和物联网三者紧密相关 ...

最新文章

  1. sql必知必会(第四版) 学习笔记二 视图
  2. raid1 热备盘 linux,Centos 6.5 RAID1加热备盘
  3. jquery插件dataTables自增序号。
  4. 全军出击机器人进房间_科沃斯扫地机器人T8 POWER/MAX开箱测评推荐
  5. [转]tensorflow中的gather
  6. [Vue-cli3] is a Vue CLI 3 only command and you are using Vue CLI 2.9.6. You may...
  7. PHP清除HTML代码、空格、回车换行符的函数
  8. 1.5.7、CDH 搭建Hadoop在安装之前(定制安装解决方案---配置单用户模式)
  9. 数据结构与算法 —— 动态数组
  10. 物理计算机仿真实验报告,大学物理实验实验报告模板
  11. 有了HTML5,Flash还能走多远
  12. 一起学爬虫(Python) — 01
  13. Unity脚本设置Animator单个状态的speed
  14. 浏览器使用flash时出现此Flash Player 与您所在地区不相容的提示解决方法
  15. Bit Miracle Jpegv2.1.1117
  16. Jenkins配置报错-Problem accessing /jenkins/. Reason
  17. 三方平台与对象存储对接后的应用场景及接口说明
  18. LTE PWS CMAS CBS消息
  19. Java小白学习二十八——冒泡排序
  20. python 模拟浏览器selenium_从零开始写Python爬虫 --- 3.1 Selenium模拟浏览器

热门文章

  1. 手机与linux传输文件,Android手机与Linux系统互拷文件教程
  2. Python画十二生肖(新年版)一
  3. 位运算对字母大小写的转换
  4. mysql if查询语句_MySQL if判断语句以及条件查询语句
  5. 看下玫琳凯公司怎么介绍自己
  6. 单片机实训智能洗衣机
  7. 常见转型产品经理的4种岗位
  8. Ubuntu 16.04下安装ffmpeg和opencv的安装与简介
  9. 比数字工具更好用的纸和笔
  10. Solidify实现一个智能合约3(单继承与多继承)