nvme驱动_用户态NVMe运维利器 SPDK NVMe 字符设备

————————————

作者简介

刘孝冬 Intel 高级软件工程师

专注于开源存储SPDK及ISA-L软件的开发。

————————————

随着数据中心规模的不断扩大与延展，硬件设备的运行维护已经成为信息技术企业与部门普遍重视的一环。随之而来的，是极为庞大的IT运维工作量。实现硬件设备的可维护，就需要灵活高效的监控与管理工具。

第一节

NVMe 设备工具

Linux中，有诸多的监控与管理工具来助力设备运维，如hdparm,ethtool, SmartCTL等；当然也有很多简单易用的系统工具，如lspci, lsblk, iostat。对于目前部署量越来越大的NVMe设备，最通用有效的工具莫过于Nvme-cli。

通过Nvme-cli, 使用者可以获取NVMe设备记录的各种LOG;可以查询当前设备状态;获取设备本身以及内部Namespace的配置信息；设置设备的各项功能；以及对设备做重启与格式化。

Nvme-cli在监控管理NVMe设备的主要过程，既是组织相关命令信息，通过对NVMe设备文件(/dev/nvmeX,/dev/nvmeXnY)发起IOCTL系统调用，将命令传入内核继而发送请求到NVMe设备上；待NVMe设备响应命令请求，发回响应后，再提取有效响应信息出来。所以Nvme-cli 众多命令的普遍格式是：

nvme []

第二节

SPDK Nvme-cli

SPDK是一组用于编写高性能，可扩展的用户模式存储应用程序的工具和库。它的基础是处在用户空间，轮询模式、异步、无锁的NVMe驱动程序。这为从用户空间应用程序直接访问NvmeSSD提供了零拷贝，高度并行的访问。在此基础上，SPDK还提供了完整的块堆栈作为用户空间库，该库能够执行与操作系统中块存储软件栈相同的许多操作。以及最上层的NVMe-oF，iSCSI和Vhost-user应用服务。

伴随着SPDK日益广泛的应用，NVMe设备的监控管理也成为了一个必要的需求。即处在用户空间应用程序的NVMe设备，如何能被用户监控管理。尤其是要便捷容易通用，那就要求Linux下常用的工具也能被SPDK所支持，尤其是Nvme-cli。

之前，SPDK 社区在Nvme-cli源码基础上，加入对特定于SPDK下NVMe设备的修改(http://github.com/spdk/nvme-cli)，使得Nvme-cli用在该类设备上。但该实现方式如同在Nvme-cli进程内启动了一个SPDK实例(如图1所示)，难以被合并到Nvme-cli的主分支上。

图1

用户自己编译与使用的过程略显繁琐(https://spdk.io/doc/nvme-cli.html)：

在编译过程中，需要将SPDK源码clone到nvme-cli下，并将相应SPDK库链接包含进nvme-cli的可执行文件中。
根据使用情景的不同，需要创建并修改一个spdk.conf文件，并指定到nvme-cli命令行的参数中。

第三节

SPDK NVMe 字符设备

由于类似SPDK 版的Nvme-cli使用上的诸多不便，社区在寻找更佳的实现方式，来支持Linux上相关工具。

在SPDK v19.10 Release (https://spdk.io/release/2019/10/31/19.10_release/)中增加的一个新功能叫做NVMe 字符设备 (NVMe character device)。它基于CUSE实现，可以在Linux内核中为NvmeController和Nvme Namespace创建对应字符设备节点(即 /dev/spdk/nvmeX,/dev/spdk/nvmeXnY)。Nvme-cli 之类的工具可以无修改，直接使用这些模拟出的字符设备来监控管理SPDK下的NVMe设备。

由于此功能目前被认为是实验性的功能，所以需要在configure的时候，显式指定使能nvme-cuse，即在编译SPDKNVMe 驱动时，加入基于CUSE字符设备的支持。

SPDK 为NVMe 字符设备功能加入了两个RPC命令bdev_nvme_cuse_register与bdev_nvme_cuse_unregister。它们分别用于指定为某NVMe设备创建CUSE字符设备，和注销CUSE字符设备。当使用bdev_nvme_cuse_registerRPC命令后，SPDK会通过CUSE在路径/dev/spdk下，为NVMecontroller 创建 /dev/spdk/nvmeX, 并为其下Namespace创建/dev/spdk/nvmeXnY，如图2。

图2

第四节

Nvme-cli & SPDK NVMe 字符设备的使用

首先，需要确认使用的SPDK版本至少为v19.10。编译前，指定使能nvme-cuse功能。

./configure --with-nvme-cuse&& make

为SPDK分配内存资源和绑定NVMe设备。

./scripts/setup.sh

准备包含NVMe设备的conf文件，并运行一个SPDK应用

./scripts/gen_nvme.sh >spdk.conf && ./test/app/bdev_svc/bdev_svc -c spdk.conf &

使用SPDK nvme-cuse RPC命令为NVMe创建字符设备

./scripts/rpc.pybdev_nvme_cuse_register -n Nvme0

之后，可见路径/dev/spdk下出现SPDK 创建的NVMe字符设备：

nvme-cli使用指定的SPDK NVMe 字符设备。目前，大多数的nvme-cli命令可以通过这种方式执行。

nvme /dev/spdk/nvme0 []

第五节

SPDK NVMe CUSE 的局限性

SPDK社区期望能够无缝的将当前流行的监控管理工具应用在SPDK下的NVMe设备上。当前实现的SPDKNVMe 字符设备朝着这个目标迈进了一大步---- 诸多采用对NVMe字符设备路径文件发起IOCTL调用的工具和命令可以直接运行操作。

但它的依旧存在诸多局限性：

· 通过CUSE创建的NVMeNamespace路径文件属性是字符设备。但从常理上，其文件属性应该为块设备,例如Linux内核驱动创建的NVMeNamespace路径文件属性是块设备。虽然与IO命令不同，监控与管理操作不需要区分设备类型，但是在Nvme-cli中如果操作设备指定的是NVMeNamespace文件，代码是存在多处诸如S_ISBLK这样的设备类型检查。

以下两图分别是SPDK 通过CUSE创建的NVMe设备文件，和内核驱动创建的NVMe设备文件，对比可见NVMeNamespace路径文件属性的不同。

· /proc/diskstats 信息的缺失。诸多性能监控工具采用定期查看/proc/diskstats文件来获取存储设备的IO流量和负载情况。SPDK目前还未实现一个通用的信息注入方法，来将SPDK块设备或NVMe设备的相关信息实时写入/proc/diskstats。

SPDK当前的获取设备IO流量和负载信息的方法，是通过SPDKRPC 方法bdev_get_iostat。

· /sys/block/目录下相关文件的缺失。部分工具，如lsblk，是需要通过筛选读取/sys/block/目录下设备文件，来获取相关信息；对/sys/block/目录下设备相关的某些文件，写入内容，来操作设备。SPDK目前也没有实现简洁有效的方法，模拟导出自己的/sys/block/文件。

加我微信进技术交流群转载须知

DPDK与SPDK开源社区公众号文章转载声明

试试SPDK的trace

NVMe 安全升级 —— SPDK 引入NVMe Opal bdev 支持

SPDK NVMe-oF TCP transport 目前优化的一些工作和方向