我管理的其中一个服务器运行您描述的配置类型.它有六个1TB硬盘,上面有一个LUKS加密的RAIDZ池.我还在LUKS加密的ZFS镜像中有两个3TB硬盘驱动器,每周更换一次,以便在场外进行.服务器已经使用这个配置大约三年了,我从来没有遇到过这个问题.

如果您需要在Linux上加密ZFS,那么我建议使用此设置.我在Linux上使用的是ZFS-Fuse,而不是ZFS.但是,我认为除了Linux上的ZFS之外,其结果与我使用的设置相比可能没有任何影响.

In this setup redundant data is encrypted several times because LUKS is not “aware” of Z-RAID. In LUKS-on-mdadm solution data is encrypted once and merely written to disks multiple times.

请记住,LUKS不了解RAID.它只知道它位于块设备之上.如果您使用mdadm创建RAID设备然后将其格式化,则mdadm将加密数据复制到底层存储设备,而不是LUKS.

Filesystem

|

Encryption

|

RAID

|

Raw partitions

|

Raw disks

由于ZFS结合了RAID和文件系统功能,因此您的解决方案需要如下所示.

RAID-Z and ZFS Filesystem

|

Encryption

|

Raw partitions (optional)

|

Raw disks

我已经将原始分区列为可选,因为ZFS期望它将使用原始块存储而不是分区.虽然您可以使用分区创建zpool,但不建议这样做,因为它会添加无用的管理级别,并且在计算分区块对齐的偏移量时需要考虑它.

Wouldn’t it significantly impede write performance? […] My CPU supports Intel AES-NI.

只要您选择AES-NI驱动程序支持的加密方法,就不会出现性能问题.如果你有cryptsetup 1.6.0或更新版本,你可以运行cryptsetup基准测试,看看哪种算法将提供最佳性能.

鉴于您具有硬件加密支持,您更有可能因分区错位而面临性能问题.

Linux上的ZFS有added the ashift property to the zfs command,允许您指定硬盘的扇区大小.根据链接的常见问题解答,ashift = 12会告诉您正在使用4K块大小的驱动器.

LUKS FAQ指出LUKS分区的对齐方式为1 MB. Questions 6.12 and 6.13详细讨论了这一点,并提供了有关如何使LUKS分区标头更大的建议.但是,我不确定是否可以使其足够大以确保您的ZFS文件系统将在4K边界上创建.如果这是您需要解决的问题,我有兴趣了解这对您有何影响.由于您使用的是2TB驱动器,因此可能不会遇到此问题.

Will ZFS be aware of disk failures when operating on device-mapper LUKS containers as opposed to physical devices?

ZFS将意识到磁盘故障,因为它可以毫无问题地读取和写入磁盘故障. ZFS需要块存储,并不关心或了解该存储的具体内容及其来源.它只跟踪它遇到的任何读,写或校验和错误.由您来监控底层存储设备的运行状况.

The ZFS documentation has a section on troubleshooting值得一读. replacing or repairing a damaged device中的部分介绍了在故障情况下可能遇到的问题以及解决方法.对于没有ZFS的设备,您可以在此处执行相同的操作.检查系统日志中是否有来自SCSI驱动程序,HBA或HD控制器和/或SMART监控软件的消息,然后采取相应措施.

How about deduplication and other ZFS features?

无论底层块存储是否加密,所有ZFS功能都将起作用.

摘要

> LUKS加密设备上的ZFS运行良好.>如果您有硬件加密,只要您使用硬件支持的加密方法,就不会看到性能损失.使用cryptsetup基准来查看哪些内容最适合您的硬件.>将ZFS视为RAID和文件系统合并为一个实体.请参阅上面的ASCII图,了解它适合存储堆栈的位置.>您需要解锁ZFS文件系统使用的每个LUKS加密的块设备.>以与现在相同的方式监控存储硬件的运行状况.>如果您使用带有4K块的驱动器,请注意文件系统的块对齐.您可能需要尝试使用luksformat选项或其他设置来获得可接受速度所需的对齐方式.