Linus工作室 2021年 PB级存储方案
来自于加拿大Linux 工作室
本文章仅整理内容，另外还有一些本人的理解
实际上这已经是Linux PB计划第二代了，比第一代更加NB
原视频地址：
https://www.bilibili.com/video/BV1nj411f7NL/?spm_id_from=333.788.videocard.4
https://www.bilibili.com/video/BV1VE41177Rj?share_source=copy_web
硬件部分 Hardware
| 器件 | 型号 | 数量 | 备注 |
|---|---|---|---|
| 机箱 | 45Drives 定制版60盘位4U | 1 | 当时的新一代Stroinator原型机 |
| 主板 | 技嘉工程样板 | 1 | |
| CPU | AMD EPYC 16Core | 1 | 不知道啥型号，可以去45Drives官网看下 |
| 内存 | 32 * 8GB | ||
| 机械硬盘 | 细节Exos X16 | 60 | 只有Exos X16 不限制单机使用量 |
| 固态 | 镁光 7.68TB SSD SATA | 6 | |
| 网卡 | ConnectX-2 40Gb InfiniBand | 3 | |
| SLOG | 傲腾SSD 480GB | 1 | 使用SSD作为写缓存，比内存靠谱 |
软件部分 Software
| 类别 | 名称 |
|---|---|
| 文件系统 | ZFS |
| 缓存 | L2ARC |
| Raid | Raid-z2 |
| 存储软件 | GlusterFS |
| 共享软件 | Samba |
1、文件系统使用ZFS，并且用到其ARC（自适应替换缓存）技术，将数据缓存到SSD中（L2ARC）
2、60个机械硬盘组成4个VDEV（每个VDEV包含15块硬盘），组成RAID-Z2阵列。整个阵列最多允许损失8个硬盘（应当注意的是，每个VDEV最多损失两块硬盘，最多可以8块）
3、应当注意，这种容量的存储设备在损失硬盘后重新同步的时间是非常漫长的（预计几个星期左右），这也必须是要考虑的因素。
4、1PB的存储接近GlusterFS 单卷容量上限，再往上就要超了（但是最后接入到Samba中的容量有1.2PB，老莱增加了几块硬盘）。
5、一台Stroinator实际能够提供的存储容量只有600TB左右，因为冗余或者文件系统的原因，但是老莱最后弄了两台Stroinator组了一个存储集群，能够提供1.2PB的容量。
结语：这种大家伙也就视频工作室用一用了，但是当前一些做机器学习的公司或者组织也可以考虑组装一台这样的存储用来存储学习模型或者元数据。还有，请不要闲的蛋疼直接在公司的生产环境部署这个东西，除非你有充分的时间来安装和调试它（参考PB计划第二弹视频），毕竟老莱可是和他们存储公司的技术人员可以直接无障碍交流的。
Linus工作室 2021年 PB级存储方案相关推荐
- RADOS:一种可扩展高可用的PB级存储集群（Ceph）
摘要 基于对象的存储架构已经作为一种新的方法改进存储集群(Storage Clusters)的扩展性而出现.尽管存储节点已经表现的足够只能和自主,但现有的系统仍然将存储节点作为一种被动的设备(pass ...
- 让PB级云存储不再神秘
该文档即讲实打实的技术问题,又说了心贴心的生态现状,产品决策和技术选型人员都可以来看看. 1. 前言和背景说明 能搭建和使用PB级存储一直是强悍但无用的屠龙绝技,我们更多将其用于炫耀和吹嘘.但最近两 ...
- 阿里实现Redis亿级存储的方案
1 需求背景 该应用场景为DMP缓存存储需求,DMP需要管理非常多的第三方id数据,其中包括各媒体cookie与自身cookie(以下统称supperid)的mapping关系,还包括了supperi ...
- 华为云PB级数据库GaussDB(for Redis)解析第二期：Redis消息队列Stream的应用探讨
摘要:本文将对Stream的常用命令和应用场景进行介绍,并探讨原生Redis Stream消息队列的缺陷以及GaussDB(for Redis)提供的解决方案,供大家学习和选用. 华为云高斯Redis ...
- 基于对象的软件定义存储——联想 NetApp DXL系列对象存储方案
联想 DXL 系列对象存储 基于NetApp StorageGRID® 技术的联想DXL系列对象存储是一款基于对象的软件定义的存储,它支持 Amazon Simple Storage Service ...
- 天翼云HBlock打造分布式混合云存储方案
在传统数据中心的使用场景,用户出于数据安全考虑,更愿意将数据存放在私有云中,但是又希望可以获得公有云的成本优势,在这种情况下混合云成为近年来企业用户云计算的主要模式和发展方向,它将公有云和私有云进行混 ...
- pb利用datawindow查询符合条件的数据并且过滤掉其他数据_eBay将CAL上PB级的日志存储迁移到Ceph的实践...
供稿 | Unified Monitoring Platform 翻译&编辑 | 顾欣怡 本文3663字,预计阅读时间11分钟 本文转载自"eBay技术荟",更多干货请关注 ...
- PB级区块链开源存储引擎“泓”Huge
区块链的特有属性使数据可追溯.不可篡改的同时弊端也很明显,采用的分布式存储技术需要每一个节点保存一份数据库,存储成本高:网络中发生的每笔交易都需要其它节点认证和记录,处理速度慢:这让区块链的系统的存储 ...
- 日均数据量千万级，MySQL、TiDB 两种存储方案的落地对比
盖娅广告匹配系统(GaeaAD)用于支撑盖娅互娱全平台实时广告投放系统,需要将广告数据和游戏 SDK 上报的信息进行近实时匹配,本质上来说需要实时的根据各个渠道的广告投放与相应渠道带来的游戏玩家数据进 ...
最新文章
- modules not found（模块未找到）的解决方案
- 质量追溯和防窜货管理解决分析
- python模块（一）
- SpringMVC Hello World 实例
- MySQL5.7升级到8.0 之后，配合ubantu18.04遇到的常规问题以及非常规问题的解决方案
- PS（留学动机）的妙用——扭转你的劣势
- JDK、TOMCAT 配置环境变量
- 【网站推荐】Solaris 平台编写设备驱动程序
- 计算机软件配置项(转),如何将表格转换配置导入另一台计算机 - 应用技巧 - 常青藤软件工作室...
- jaxen.jar下载地址
- 小米手机图标应用图标不改变的问题
- Android之网络-netd分析
- IDEA报Invalid bound statement (not found)错误解决办法
- 汽车营销与保险【3】
- String类-拆分字符串
- 奇异值分解(SVD) --- 线性变换几何意义
- SpringMv的IOC控制反转以及DI依赖注入(SpringMvc⑨)
- 图像处理之图像去雾中文综述性论文
- 华为开发者大会2021鸿蒙系统,鸿蒙2.0来了！华为开发者大会HDC 2020宣布
- 读MBA，四大误区要澄清！