为ZFS zpool添加固态硬盘缓存 ZIL写缓存|ARC写缓存

StudyOverseas

本帖最后由 StudyOverseas 于 2020-6-5 03:56 编辑

原文：https://www.liujason.com/article/800.html
我们新的芬兰计算集群配置了一台12核CPU+128G DDR4内存+1T数据中心级NVME+10*10TB企业级机械硬盘的机器作为存储节点。
用NVME盘做系统盘，10块10TB的机械盘组ZFS-RAIDZ，用96G内存作为ZFS缓存。但是在高读写负载下依旧出现了超过30%的IO delay，因此考虑使用闲置的NVME空间作为读（cache）+写（ZIL log）缓存。

数据安全提醒
其实这是一个性价比很高的方案，近百TB的大容量+最热文件内存机读取速度+较热文件nvme的读取速度+nvme的写入速度。
但是作为写入缓存的ZIL（log）坏了比较麻烦，不过也只影响坏之前没有来得及写回ZFS阵列的内容（在非连续高负载下问题不大），根据数据的重要程度选择要不要做成raid1的缓存：
[ol]

zpool add tank log mirror /dev/zil-cache1 /dev/zil-cache2[/ol]复制代码

第二页为教程正文
第三页为性能对比

StudyOverseas

newphp 发表于 2020-6-5 02:50

感谢分享。
与其说拿SSD的生命来换速度，准确的说，是拿钱来换速度，为速度而做的投资未尝不可。
只是如果l ...
其实这是一个性价比很高的方案，近百TB的大容量+最热文件内存机读取速度+较热文件nvme的读取速度+nvme的写入速度

作为写入缓存的ZIL（log）坏了比较麻烦，不过也只影响坏之前没有来得及写回ZFS阵列的内容（在非连续高负载下问题不大），根据数据的重要程度选择要不要做成raid1的缓存：
[ol]

zpool add tank log mirror /dev/zil-cache1 /dev/zil-cache2 [/ol]复制代码

而cache和内存的效果一样，只是作为L2ARC加速读取，内存还是一级ARC，作为最热的文件缓存，L2作为沉淀层。

h20

感谢分享。
与其说拿SSD的生命来换速度，准确的说，是拿钱来换速度，为速度而做的投资未尝不可。
只是如果log和cache放在和系统同一相物理磁盘上，SSD坏了会显得比较麻烦。

newphp

可以哦

zkz

h20 发表于 2020-6-5 01:33

拿SSD的生命换HDD的速度？
数据中心级的SSD写入量都是PB级的，要写坏估计也要两三年了