秋天的武汉是美丽的,你可以去落雁岛看一次夕阳,鸬鹚们结伴飞向远处,泛着金色涟漪的湖面,倒映在水中,亦或是约上几个好友一起去木兰云雾山打板栗,那里的板栗不仅个大、肉嫩,而且皮薄、味甜,或者是骑车去东湖绿道,体验一次东湖绿道中的“郊野道”,在亲水场所、林中栈道中穿梭,当然,你还可以参加UCan下午茶的活动,在暖暖的光谷创业咖啡馆中,美美的泡上一个下午,接受知识的熏陶。

UCan下午茶是UCloud于2017年启动的系列技术沙龙。该沙龙不仅会分享UCloud最新的技术重点,同时也会诚邀业界相关方向的技术大咖一同交流、分享。诚意满满的干货、鲜活生动的案例内容,将使每位参与者不负午后时光,场场“悟”有所值。“UCan下午茶-2018”秉承了去年技术为先、实践为主的宗旨,坚持为大家分享真正的技术干货。而这次的武汉站将给大家带来分布式存储方面的精彩内容,希望对分布式存储感兴趣而又身在武汉的朋友能来捧场!

随着信息时代的到来,人类产生的数据呈指数级增长,传统存储逐渐已经无法适应这样的数据增长速度,因此,分布式存储系统应运而生。分布式存储系统将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一的管理与分配,并向用户提供文件系统访问接口,其主要解决了本地文件系统在存储容量、扩展性、高性能、高可靠等方面的问题。而要谈到分布式存储系统技术,就要先从分布式存储系统的典型架构讲起。

分布式存储系统典型架构

目前比较主流的分布式文件系统架构,如下图所示,通常包括主控服务器(或称元数据服务器、名字服务器等,通常会配置备用主控服务器以便在故障时接管服务,也可以两个都为主的模式),多个数据服务器(或称存储服务器,存储节点等),以及多个客户端,客户端可以是各种应用服务器,也可以是终端用户。

分布式文件系统的数据存储解决方案,归根结底是将大问题划分为小问题。大量的文件,均匀分布到多个数据服务器上后,每个数据服务器存储的文件数量就少了,另外通过使用大文件存储多个小文件的方式,总能把单个数据服务器上存储的文件数降到单机能解决的规模;对于很大的文件,将大文件划分成多个相对较小的片段,存储在多个数据服务器上。目前,很多本地文件系统对超大文件的支持已经不存在问题了,如ext3文件系统使用4k块时,文件最大能到4T,ext4则能支持更大的文件,只是受限于磁盘的存储空间。

常见的分布式存储系统

目前,常见的分布式存储系统有Hadoop HDFS、OpenStack的对象存储Swift、Ceph、公有云分布式存储等。

Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括:容错,可扩展性,高效性和可靠性。HDFS采用了MapReduce,不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。

OpenStack Swift提供一个类似Amazon S3的对象存储。其主要特点为是所有的存储对象都有自身的元数据和一个URL,这些对象在尽可能唯一的区域复制3次,而这些区域可被定义为一组驱动器,一个节点,一个机架等。

Ceph是一个遵循LGPL协议的存储平台,它可以在单个分布式节点上同时支持对象存储,块存储和文件存储。Cphe主要设计的初衷是变成一个可避免单节点故障的分布式文件系统,EB级别的扩展能力,而且是一种开源自由软件,许多超融合的分布式文件系统都是基于Ceph开发的,作为开源软件在超融合商业领域的应用,Ceph因为性能等问题被诟病,但不乏许多厂商在Ceph上不断优化和努力。

公有云提供的分布式存储系统则有谷歌的云存储、Amazon的S3,微软的Azure Bolb,阿里的OSS,UCloud的UFS以及云存储等。

分布式存储系统涉及的技术

分布式存储系统涉及的技术主要涉及接口、稳定性、性能等方面。

接口方面

ISCSI的系统接口可能企业存储上云的主要接口,这个方式可以有效兼容当前所有传统存储系统的接口形态,同时对于后端定制性更强,有利于快速变化的云计算技术的迭代更新。

互联网新业务要求存储系统在提供块和文件接口的同时,也需要提供对象存储、NoSQL等存储形态,同时在这样的形态之上需要存储系统集成图片处理、视频处理、特征提取等更多的计算服务,一站满足很多用户公共的处理要求。

稳定性方面

跨数据中心和跨地域的容灾将是存储系统的标准配置,同时对于容灾进行动态调整和灵活的定价策略将吸引更多的用户。

容器技术和只能交换网络需要进一步和存储系统进行结合,在数据安全和隔离性方面给存储系统带来巨大变化。目前基于进程内部的队列和优先级控制始终处于被动状态,不能在源头上就达到数据流量和优先级的控制,增加了系统的消耗。

性能方面

存储节点的数据处理将使用专用硬件设备接管来实现数据处理加速,并将数据处理和存储数据的过程合并。存储节点将集成更多的硬件,例如FPGA、RDMA网卡、GPU,这些硬件为特定的数据处理带来加速效果,同时降低功耗。

操作系统内核将不会再参与数据的I/O处理,所以要依赖数据分布式算法对内核进程、内存管理和文件系统进行有效对的调度。

存储大咖悉数登场畅谈分布式存储

而上面这些技术,都将在11月8日武汉举办的UCan下午茶活动中得到存储大咖们的详细讲解。这些大咖们包括:

邓瑾先后就职于腾讯,七牛,UCloud,负责海量存储相关的产品开发和运营。在UCloud期间主要负责对象存储,文件存储等分布式存储系统。目前致力于为公司和客户提供稳定统一的基础存储设施。个人技术兴趣主要集中于分布式理论,数据库和文件系统方向。

李明宇,中国新一代IT产业联盟分布式存储分委会秘书长,荣获中国软件协会“优秀CTO”称号。在分布式系统领域有十年以上研发经验,曾在中科院国家级重点实验室担任专项课题组技术负责人,现兼任西安交通大学研究生院外聘专家和企业导师。

叶恒,UCloud网络磁盘产品(UDisk)核心研发工程师,主导和参与网络磁盘从老架构到新架构的整个设计和研发过程,目前正在研发超高性能存储框架。对服务后端技术、存储技术,高性能存储有丰富的研发经验。

卢波,深信服存储研发专家,8年存储设计开发经验,负责过统一存储、超融合存储的架构设计和开发,目前主要负责深信服分布式存储(EDS)的产品规划。个人对文件系统,对象存储和大数据比较感兴趣。

他们将为来参加此次UCan下午茶的观众带来包括UCloud 分布式文件系统产品架构解析、分布式存储中的数据分布算法、云硬盘架构升级和性能提升详解以及基于CephFS的改进及优化等相关内容的讲解。

怎么样,这些大咖阵容够豪华吧?演讲内容够劲爆吧?那你就不要犹豫了,现在会场门票还有少数空余,赶紧抓紧时间报名吧!

时间:2018年11月10日 下午13:00

地点:武汉 青年众创空间光谷创业咖啡

地址:大智街办事处解放大道1435号青少年宫体育馆一楼(地铁一号线、二号线,循礼门站)

猛击下列链接报名:

  • https://bss.csdn.net/cview/reg/?project_id=3831&identy_id=1957

点击“阅读原文”,也可进入报名页面。

秋意正浓,和存储大师们来一场美丽的邂逅相关推荐

  1. python画风景图,ai怎么绘制秋意正浓的红色风景插画?

    好的风景能够吸引路人的目光,想要绘制秋天插画矢量图,该怎么绘制呢?今天,我们就来画一画红色的风景,学习一下单色调风景图片的画法,还有近中远三个层次不同元素的绘制方法与要点,下面我们就来看看详细的教程. ...

  2. 存储大师班 | ZFS存储池块管理与事务模型

    作者简介:肖文文,QingStor 文件存储开发工程师,主要负责文件存储的开发,有多年的存储开发经验,喜爱技术热爱技术. ZFS History 1 ZFS 的诞生:ZFS 由 Sun 存储部门的 C ...

  3. 春意花开正浓,计划读研的你来中国人民大学与加拿大女王金融硕士汲取能量吗

    阳春三月,草长莺飞.人民大学的玉兰花也相竞绽放了,为校园增添了颜色.有计划读研的你来中国人民大学与加拿大女王金融硕士项目汲取能量,描绘人生宏伟蓝图吗 在这个学习资源"狂轰滥炸"的时 ...

  4. B站/博客园/CSDN/知乎:@秋意正寒 地球坐标系(WGS84),火星坐标系(GCJ02), 百度坐标系(BD09)坐标转换

    https://blog.csdn.net/skh2015java/article/details/68486756 聊聊GIS中那些坐标系 转载请声明到标题. B站/博客园/CSDN/知乎:@秋意正 ...

  5. 存储大师班 | 浅谈数据保护之快照与备份

    作者简介:徐林波 NeonSAN 开发人员,具备丰富的存储领域从业经验,资深存储系统软件研发工程师,熟悉当前主流及新型存储介质. 引言 面对当前企业数字化转型浪潮,信息数据已经成为企业赖以生存的基础, ...

  6. 存储大师班:NFS 的诞生与成长

    作者| QingStor 黄蒙 我们为什么需要 "网络文件协议" 存储文件是大家日常工作生活中最常见的需求,随着文件数量和占用存储空间的上升,以及在一定范围内共享访问文件的需求产生 ...

  7. 冬意正浓-2018年终总结

    今年的冬天有点冷,现在是2018年的最后一个工作日,下午两点多种,今天的温度有点低,-12~-3度.这也是来北京的第六个年头了,互联网行业今年也转向了寒冬,大街小巷的裁员信息,搞的人有点惶恐.天气和行 ...

  8. 存储大师班 | 浅谈 RDMA 与无损网络

    魏国武 QingStor 资深研发工程师 近 10 年企业级软件开发经验,专注于大规模分布式存储研发,擅长集群性能调优.高可用研究及容灾. 为什么需要 RDMA 当今是云计算.大数据的时代,企业业务持 ...

  9. 《华为十年》转载了10年~ 离职副总裁给任正非的辞职信 ~ 朴实感动无数职场人

    徐家骏1989年考入中国科技大学学习.1994年获得中国科技大学学士学位,1997年获得中国科学院高能物理所硕士学位,同年加入华为公司,最后任职华为数据中心,一级部门总监,华为副总裁. 2007年离开 ...

最新文章

  1. linux 新用户 界面登录,如何在Linux系统登录界面加入个性化提示信息
  2. 【论文解读】ICDM2020 | 挖掘异构图中的层级结构
  3. mysql 数据迁移_CentOS7迁移Mysql数据库文件
  4. [转载]android一些、面试题
  5. web服务器检测工具
  6. Java优先级队列PriorityQueue
  7. 基于applet与ServerSocket的网络聊天室(记得是上学的时候写的,现在都忘了,记录一下)...
  8. UE4UE5 VR开发多人联机RPC的坑
  9. 多种汉语方言语音落地应用,微软智能语音解锁更多交互场景
  10. RS485通信的学习以及思考
  11. vue 使用fetch 出现问题解决以及 相应知识学习
  12. 关于22年应届生就业难发表一些自己的想法
  13. 关于javascript的调试
  14. 计算机音乐谱安娜的橱窗,《安娜的橱窗,钢琴谱》2,封茗囧菌(五线谱 钢琴曲 指法)-弹吧|蛐蛐钢琴网...
  15. xp下对dinput8.dll 游戏键盘输入的模拟 非函数hook
  16. 21款超赞的手写英文字体,总有一款适合你
  17. DW卷积、PW卷积、转置卷积、膨胀卷积(空洞卷积)、可变形卷积一次看个够
  18. 雅虎开始关闭韩国业务并裁员 200 人
  19. 35岁的程序员:第31章,波折
  20. 2021年1月4日-Vulnhub-DerpNStink渗透学习

热门文章

  1. pytorch-分类任务训练loss不变
  2. tensorflow保存和恢复模型saver.restore
  3. c++分治法求最大最小值实现_你所不了解的分治算法
  4. mysql8.0 创建用户并授权
  5. Flutter进阶—质感设计之列表项
  6. 知行动手实验室可以用来做什么?
  7. 从研发到管理,这十大技巧助我提升了领导力
  8. Mac、iPad 之间拖拽即可移动文件、iOS 15 来了,这届 WWDC21 精彩内容尽在这里!
  9. @程序员,CSDN“年度征文”开启,快来年终盘点挣大奖吧~
  10. 精通那么多技术,你为何还是受不到重用?