Intel的Optane(傲腾)存储器,从标准PCIE插卡、U.2 SFF8639的NVMe SSD,到M.2消费类产品都有覆盖。利用3D Xpoint这种超高速非易失性存储介质,实现了接近SDRAM的速度以及大幅高于SDRAM的容量。在NAND Flash和SDRAM之间填补了空白区。

冬瓜哥,你为什么不信线下的性能测试数据?难道这都能有假么?

这里面的门道,需要比较深的技术基础才能参透。线下性能实测的时候人们往往采用高并发多线程方式来追求极高吞吐量。而往往忽略了I/O的延迟。要知道很多应用对延迟敏感,也就是应用发出更多比例的同步I/O,此时高吞吐量并没有性能加成,而低延迟才能解决问题。傲腾的低延迟是个万能药,包治百病。在queue depth=1的时候就已经可以达到较高吞吐量,所以标本兼治。

那么,傲腾这种存储器的最典型使用场景是什么?

由于极低的延迟,天然适用于OLTP场景,一些经过定制的业务可以直接使用基于傲腾DIMM存储器的App Direct模式获取最优的延迟。另外,相比DDR RAM更大的容量,天然适合用作RAM与NAND Flash之间的缓存层,能够更广泛的提升性能。

数据存储占到了其一半以上的预算的俄罗斯最大的社交网络平台VK 引入全新数据分层架构,以 2:1 的比例整合服务器,采用英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态盘和英特尔® 非易失性存储器 (NVMe) 固态盘对原有的分层存储架构进行了现代化改造。最终,VK 成功省下数百万美元,预估将来整体上将节省数亿美元。

VK 是俄罗斯和独联体 (CIS) 地区最大的社交网络平台,且仍在快速增长。在 2018-2019 年度,VK 的月活用户为 9,700 万,远高于四年前的 6,600 万1。每天,VK 用户查看的帖子高达 90 亿条、观看的视频高达 6.5 亿个、发送的消息高达 100 亿条、点 “赞” 次数高达十亿次。在一年的时间里,用户上传了约 600 PB 的新数据,其中包括照片和视频,而这些数据必须永久存储。

由于所有数据都通过网络进行流传输,因此数据存储基础设施成为VK 最大的成本支出也不足为奇。存储成本已占到公司年度预算的 60% 至 65%,因此优化存储总体拥有成本 (TCO) 成了 VK 的当务之急。在整个存储空间中,共分布了 1.1 EB 的数据。数据存储在离上传位置较近的地方。VK 背后的 IT 基础设施是 19,000 台服务器。公司拥有三个主要的数据中心,并由 30 个内容分发网络 (CDN) 提供支持,以此加快最热数据的访问速度。

VK 在其 CDN 服务器上采用的是三层数据缓存结构。随着数据热度的下降,数据会向下层移动。热数据指的是最近上传到网络且仍被经常访问的数据。温数据则是已不再被频繁访问的数据。通常情况下,温数据是最长一个月前上传的数据。而冷数据是指很少被访问的数据。

在采用新技术之前,CDN 中的冷数据存储在遍布俄罗斯的分布式数据网络中的硬盘上。温数据存储在 SATA 固态盘中,而热数据存储在 DRAM 中。此外,基于 Nginx Web 服务器的数据库服务器使用 SATA 固态盘和硬盘来存储数据,使用 DRAM 来存储索引。

VK面临的主要挑战

•降低数据存储(数据以每年 600 PB 的速度增长)的总体拥有成本 (TCO)。

•让 VK 用户能够快速访问最新、最热门的内容。

•支持数据分层,将访问频率较低的数据迁移到成本较低的存储器中。

•无需再为满足不同最终用户设备需求而存储同一图像的多种格式。

针对上述挑战,基于Intel的全方位存储加速方案,VK 对其存储架构进行了现代化改造。对于 CDN 服务器,热数据已从昂贵的 DRAM 移至英特尔® 傲腾™ 固态盘 DC P4800X 系列,并且通过引入英特尔® 傲腾™ 持久内存取代 DRAM 来处理相关工作负载,由此降低单位比特成本(见下图 )。如果工作负载支持英特尔® 傲腾™ 持久内存的 App Direct 模式,那么内存就具备了持久性。英特尔® 傲腾™ 固态盘 P4800X 系列可帮助消除数据中心存储的瓶颈,方便处理更大、更具性价比的数据集。在全新的存储方案中,温数据存储在非易失性存储器 (NVMe) 英特尔® 固态盘D5-P4320 系列上。

Podpriatov 表示:“现在,我们可以将热数据和温数据均存储在固态盘上,从而减少了我们的 DRAM 用量。之前我们的固态盘不够快,无法为热数据提供良好的用户体验,因此我们只能将某些数据存储在 DRAM 中。现在,我们可以将数据全部存储在比内存便宜得多的固态盘中。”

对于数据库服务器,VK 引入了英特尔® 傲腾™ 持久内存来存储数据库索引(见上图 )。英特尔® 傲腾™ 持久内存具有更强的内存寻址能力,可有效提升数据库性能。将数据从 DRAM 迁移到英特尔®傲腾™ 持久内存还可降低数据库索引的存储成本。数据库本身已从硬盘或 SATA 固态盘迁移到非易失性存储器 (NVMe) 英特尔®固态盘 D5-P4320 系列,有效地提高了性能和存储密度。

另外,为了进一步优化存储并提高能效,VK 正在部署采用英特尔® Arria® 10 GX FPGA 的英特尔® 可编程加速卡(英特尔® PAC)(见图 3),并运行 CTAccel 图像处理器工作负载

该解决方案的技术组件

•  英特尔® 傲腾™ 固态盘 DC P4800X 系列。VK 已将特定 CDN 服务器上的数据从 DRAM 迁移至英特尔® 傲腾™固态盘,从而降低了 DRAM 成本。

 

•  英特尔® 傲腾™ 持久内存。数据库索引对于性能高度敏感,因此 VK 采用英特尔® 傲腾™ 持久内存,以低于 DRAM 的单位比特成本来存储数据库索引。

 

•  英特尔® 固态盘 D5-P4320 系列。这类经济高效的固态盘为温数据提供所需的性能,并在 VK 的数据层级结构中发挥着重要作用。而该数据层级结构可将使用频率较低的数据从快速存储器迁移到速度较慢(但更便宜)的存储器。

 

•  采用英特尔® Arria® 10 GX FPGA 的英特尔® 可编程加速卡(英特尔® PAC)。这款基于PCI Express* (PCIe*) 

 

数据中心级 FPGA 加速器卡支持内嵌和旁路加速,具备 FPGA 加速的强大性能和多功能性,并且是获得面向搭载 FPGA 的英特尔® 至强® CPU 的加速堆栈支持的几个平台之一。

展阅读展

VK 估计,通过引入全新的存储解决方案,可以节省总计数亿美元的成本。新的存储解决方案让 VK 能够在 1U 服务器中存储高达0.4 PB 的数据,只需更少的机架就能存储相同数量的数据,因此在空间、供电和散热方面将不断实现成本节约。

欢迎关注Intel商用频道

END

扫码入当当/京东直购《大话计算机》

   

扩展阅读

连书都得看国外写的才能做好芯片?这儿有人不服!

《大话计算机》同款T恤,我要了!!

《大话计算机》动图一则展示

《大话计算机》序言① by廖恒

《大话计算机》序言② by 包云岗老师

《大话计算机》序言③ by 何万青

《大话计算机》序言④ by 雷迎春

《大话计算机》序言⑤ by 汪利文

《大话计算机》序言⑥ by 张勇

《大话计算机》序言⑦ by @去流浪

  

博主简介:冬瓜哥,《大话计算机》与《大话存储 终极版》、《大话存储 后传》图书作者。多项专利发明人。

现任某半导体公司高级资深架构师。

大话计算机   大话存储

长按扫码可关注

傲腾+NVMe如何让VK节省数亿美元?相关推荐

  1. 三年研发、数亿美元成本,Mate 20的“大杀器”麒麟980是怎样炼成的?

    安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI 昨晚,华为麒麟980芯片发布. 作为全球首款量产的7nm手机芯片.首款基于最新Cortex-A76 而开发的商用芯片.首款搭载Mali-G7 ...

  2. 烧数亿美元、耗上万颗英伟达 GPU,微软揭秘构建 ChatGPT 背后超级计算机往事 !...

    整理 | 苏宓 出品 | CSDN(ID:CSDNnews) 都说 ChatGPT 这种大模型研发是大公司之间的博弈,不仅仅是因为其要消耗的算力巨大,也是因为需要有强大的资金支撑. 那么,加入这场战局 ...

  3. 揭秘ChatGPT背后天价超算!上万颗英伟达A100,烧光微软数亿美元

    [导读]ChatGPT背后,是微软超级昂贵的超级计算机,耗资数亿美元,用了英伟达数万颗芯片. ChatGPT能成为如今火遍全球的顶流模型,少不了背后超强的算力. 数据显示,ChatGPT的总算力消耗约 ...

  4. tb计算机存储单位_如何节省数TB的云存储

    tb计算机存储单位 Whatever cloud provider a company may use, costs are always a factor that influences decis ...

  5. 为字节节省数十万核的json库sonic

    1 sonic产生的背景 为什么要优化? json操作在服务中的cpu开销中占据相当的比重.根据字节所有服务的统计,json序列化和反序列化的开销接近10%,部分服务甚至达到40%. golang现有 ...

  6. 基于阿里云GPU云服务器的AIACC助力UC搜索业务性能提效380%,每年节省数千万成本

    导语:作为国产行列里占有率排名第一的移动浏览器,UC浏览器自身承载着数以亿计的用户量,当前UC浏览器每天的服务请求对服务器的算力及带宽要求极高,因此也带来了巨额的运营成本.因为业务是动态变化的,UC对 ...

  7. 欺诈、舞弊检测中人与人工智能的分工,共同节省数十亿美元

    解决财务欺诈.舞弊,不但是最受财务人欢迎.期待的人工智能技术之一,可以从当下大海捞针式的财务审计工作流程中,把审计团队解放出来:同时,也是公司层面中,对人工智能技术应用的重大期待之一,毕竟,可以带来立 ...

  8. 超级勒索犯,勒索了数亿美元仍不停手!

    你遭遇过勒索吗?近期,越来越多的人被一种恶意软件程序勒索,电脑上的多种重要文件都被加密而无法打开,并且无计可施,只能乖乖支付赎金,以对文件解密. 据纽约时报报道,2月份,洛杉矶的一家医院在电脑系统宕机 ...

  9. 一行代码损失数亿美元!来看看编程史上的著名bug!

    作为程序员最大的敌人,bug是很多程序员挥之不去的噩梦,一行小小的代码bug,就可能造成致命的问题,造成整个系统的崩盘.今天,菜鸟哥就为大家分享,编程史上的最著名的5个bug. 1.欧洲航天局阿丽亚娜 ...

最新文章

  1. 首战大吉:红帆科技参加第八届IT羽毛球赛
  2. shell脚本中28个特殊字符的作用简明总结
  3. 关于HTML的面试题-html5/css3篇
  4. 第六篇: 分布式配置中心(Spring Cloud Config)(Finchley版本)V2.0_dev
  5. tengine简单安装_树莓派使用宝塔面板安装LNMP环境
  6. 2017年二级计算机c真题语言,2017全国计算机二级C考试真题
  7. java编程简单网络_Java网络编程之使用Socket搭建一个简易聊天室
  8. 计算机网络体系结构中的环节,ppt课件-第二章计算机网络体系结构.ppt
  9. 攻防世界 WEB bilibili
  10. 企业管理中使用凌云仓库管理软件免费版的优势
  11. PHP 下载文件的方法(指定路径)
  12. python paramiko ssh-解决强制修改密码登录问题
  13. jBPM4的PVM解析
  14. java资源文件路径_Java 中获取资源(文件)的路径问题总结
  15. 不到 20 人的 IT 公司,要不要去呢?
  16. ProtonMail邮箱
  17. 用anaconda启动Spyder报错
  18. 想设计一个母亲节小程序c语言,用小程序做一张精美海报,对母亲说一句:祝您母亲节快乐!...
  19. Liunx配置yum源与本地配置yum源
  20. 走出舒适区的两种方法

热门文章

  1. iOS 实现Cordova-Beecloud支付插件
  2. 简笔彩色圣诞树的python代码_Python绘图,圣诞树,花,爱心 | Turtle篇-Go语言中文社区...
  3. html5 移动微信支付,H5唤起移动支付方法(支付宝、微信支付、银联支付) · Yumiko’s Blog...
  4. 这个时代“寒门再难出贵子”
  5. 集群外独立部署Prometheus+Grafana监控K8S全面解析
  6. Python+matplotlib可视化自定义轴域大小和位置
  7. 【有利可图网】PS实战教程32:PS合成蓝色梦幻木屋场景精灵背影图片
  8. 《简约至上》读书笔记
  9. 9012,9013,9014,9015,8050,8550三极管的区别
  10. java做mp3_用java编写MP3播放器