NVMe over TCP 香吗？
什么是NVMe？
NVM Express（NVMe）
全称是non-volatile memory express
或称非易失性内存主机控制器接口规范
NVMe是专门为NAND、闪存等非易失性存储设计的
NVMe协议建立在高速PCIe通道上
那什么又是NVMe over Fabric？
NVMe over Fabrics也称为NVMeoF
NVMeoF实现NVMe标准在PCIe总线上的扩展
实现远距离传输
支持数据中心级网络存储
以此来挑战SCSI在SAN中的统治地位
NVMeoF支持多种传输网络
主要包括FC、InfiniBand、RoCE v2、iWARP和TCP
其中InfiniBand、RoCE v2(可路由的RoCE)
就像赛车可以在各种路面上行驶
是理想的Fabric
原因在于它们支持RDMA
RDMA就是赛车道
可以发挥赛车最大的性能
RDMA的主要优势就是提高处理效率，降低时延
缺点就是，如果你家没有赛车道
就得花重金重建一个
NVMe over TCP又是什么？
NVMe-oF协议一开始没有TCP的支持
于是当用户向NVMe-oF 转型的时候
很多已有的网络设备无法使用
这样会导致NVMe-oF协议的接受度下降
在用户不以性能为首要考量的前提下
显然已有NVMe-oF协议对硬件的要求
会给客户的转型造成障碍
使得用户数据中心的更新换代不能顺滑地进行
而NVMe over TCP协议的出现解决这一问题
不一定非要建赛车道上
在高速路上一样跑
它能够在降低部署成本和设计复杂度的同时
提供更高的性能
本质上，NVMe over TCP使用简单高效的TCP/IP结构
将NVMe扩展到了整个数据中心
FASS+NVMe over TCP
FASS是大道云行基于全闪存介质
自主开发的分布式块存储软件
可广泛应用于
大型在线交易系统、大数据采集与分析
4K/8K视频编辑、5G数据应用
AI人工智能等行业的高速数据处理需求
在块存储协议上，
除了目前支持的
NVMe over RDMA（InfiniBand、RoCE v2）、
iSCSI等协议外，
近期又增加了新成员，
NVMe over TCP，
旨在更好地对接基于现有TCP网络的用户
FASS可实现同时支持
NVMe over RDMA和NVMe over TCP两种协议，
在同一存储集群RDMA和TCP网络的双业务网的并行运行。
NVMe over TCP 、NVMe over RDMA、iSCSI对比
那么，NVMe over TCP 、NVMe over RDMA、iSCSI之间的性能到底怎样呢？
我们内部使用同种硬件环境，进行了一轮对比测试。
组网环境：
硬件配置
| 节点数 | 硬盘情况 | 硬件配置 |
|---|---|---|
| 4 | OS:SSD 480G1nvme5 D5437 4TB | CPUIntel® Xeon® Gold 6240 CPU @ 2.60GHz 内存128G 网络Mellanox CX-4 25G3 10G1 |
测试结果
1、单客户端-4k随机单卷IOPS：
| 项目 | NVMe over RDMA | NVMe over TCP | iSCSI |
|---|---|---|---|
| 4k随机写 | 543,000 | 297,000 | 85,000 |
| 4k随机读 | 532,000 | 399,000 | 100,000 |
▶️单卷性能对比
2、单客户端-4k随机单卷延迟：
| 项目 | NVMe over RDMA | NVMe over TCP | iSCSI |
|---|---|---|---|
| 4k随机写 | 233 | 627 | 3,400 |
| 4k随机读 | 479 | 859 | 2,700 |
▶️单卷延迟对比
3、多客户端-4k随机多卷IOPS：
| 项目 | NVMe over RDMA | NVMe over TCP | iSCSI |
|---|---|---|---|
| 4k随机写 | 1,918,000 | 1,488,000 | 270,000 |
| 4k随机读 | 2,577,000 | 2,532,000 | 730,000 |
▶️多卷性能对比
由测试结果可以看出
NVMe over RDMA在4k随机读写上
性能最高，延迟最低
NVMe over TCP次之
在单卷性能上虽然有较大差距
但多卷性能已经接近NVMe over RDMA
iSCSI由于协议本身局限性，
在性能和延迟上大幅低于前两种协议。
总结
NVMe over TCP只是一种传输绑定，
无需修改用户现有网络基础架构即可支持。
而RDMA（例如，RoCE v2），
虽然可以具有较低延迟，较高的性能。
但要增加一定的价格和维护成本。
所以在决定投资时，
应该综合权衡性能差异,成本，规模等因素。
而随着以NVMe SSD为介质的存储系统
（全闪存储、分布式全闪等）大量在数据中心使用。
我们认为，作为传统的iSCSI协议，
将逐渐被性能更好
同样可以使用TCP网络的
NVMe over TCP协议所取代。
更多精彩内容，点击即可获取
NVMe over TCP 香吗？相关推荐
- NVMe over TCP Write/Read命令下发流程梳理
总结 本文对NVMe over TCP的write和read命令下发流程进行了梳理 1. 环境 只针对Linux5.4.0版本的nvme内核模块源代码,使用命令 sudo nvme io-passth ...
- U.2 NVMe硬盘太香了，搭配这款硬盘盒，视频剪辑速度又提升！
ToughArmor MB105VP-B是一款坚固耐用全金属双盘位U.2/U.3 NVMe PCIe 4.0 SSD硬盘抽取盒,适用于5.25英寸装置空间,通过Slimline SAS(SFF-865 ...
- 性能对比|FASS iSCSI vs NVMe/TCP
前 情 回 顾 在上一篇文章<iSCSI vs iSER vs NVMe-TCP vs NVMe-RDMA >中我们介绍了大道云行FASS全闪分布式存储系统所支持的几种存储协议,现在我们将 ...
- linux tcp在传输数据的时候断网了_选择最合适的协议 让传输数据更灵敏
随着数据的爆发式增长以及移动互联网的快速演进,存储并处理海量数据正成为企业业务增长和保持竞争力的关键因素.为满足高性能存储的高速传输需求,英特尔最新推出了Ethernet 800系列网络适配器,该产品 ...
- 【协议】NVMe over RoCE 初探 SATA接口（AHCI协议）、PCIe 接口（NVMe 协议）
简略 详细 RDMA RDMA网络配置 硬/软件信息 RDMA驱动安装 验证RDMA连通性 NVMe Initiator 和 target 配置 target 端配置 initiator 端配置 配置 ...
- NVMe Over Fabrics架构概述
NVMe Over Fabrics使用RDMA或光纤通道(FC)架构等Fabric技术取代PCIe传输.如图所示,除了基于RDMA架构的传输包括以太网(ROCE),InfiniBand和iWARP,当 ...
- NVMe协议详解（一）
参考文档:NVME手册1.4a,下载网站. NVMe相关定义 queue pair 一对用来承载NVMe命令的队列对,由一个Submission Queue和一个Completion queue组成, ...
- 详谈NVMe和NVMe-oF架构和知识点
<NVMe基础架构和概念详解>电子书已经上线,可通过点击文末"阅读原文"选购或查看详情. NVMe传输是一种抽象协议层,旨在提供可靠的NVMe命令和数据传输.为了支持数 ...
- 使用 NVMe 加速云原生应用程序
云原生应用程序与传统应用程序或托管在云中的传统软件具有不同的存储需求.为了有效地工作,它们需要高性能和低延迟的存储.在实践中,建议使用本地 NVMe® 闪存,而不管编排平台如何. 云原生应用程序是设计 ...
最新文章
- libsvm库简介及使用
- 网络编程中的关键问题总结
- java.net.SocketException: 断开的管道 (Write failed) 错误，数据库隔一段时间就断开的问题...
- [转]PetShop的系统架构设计
- 【企业管理】摆脱三个依赖
- Windows下无法新建文件夹
- vista 中php4, php5 共存
- 【Java】文件操作
- TOP10十大GPS导航手机（有车一族必备手机）
- mysql 5.7 enum_MYSQL中 ENUM 类型的详细解释
- JSP听课笔记（一）
- moodle平台安装及环境配置（包括安装过程详细截图）
- PostgreSQL数据库从入门到精通
- wo-mic ,audioRelay设置
- 匈牙利算法寻找最大匹配
- 使用pr给视频局部打马赛克
- 网站被攻击如何正确防护
- pcb板中字母P代表什么
- Linux协议栈(1)——协议介绍
- SVN服务器管理工具——VisualSVN Server Manager