看到了这篇文章刚好来分享一下最近大概半年的折腾经验，内容有点长的流水帐。 请斟酌观看，谢谢 一开始没有要搞自组NAS，自组NAS完全就是自己白痴挖了一个坑给自己 因为工作的需要见大量的VM来模拟客户的手上环境，并且在布署上客户正式机前 能够多做几次的验证，所以购买了一台双CPU的洋垃圾(18CORE/一颗，共72执行序) 256GB ECC DDR3(本来想打鸡血BIOS，但是後来发现瓶颈在硬碟就先搁置) 安装了ESXI 6.7免费版授权，VM上线後就发现硬碟就是我自己挖的坑， 本来想说买一个10TB的传统硬碟就够了。 结果远远不够，开一两个VM就已经把SATA 6Gb/S塞爆了。 接下来因为没有预算， 後来在网路上爬到了ISCSI的方式可以用，在既有的QNAP的NAS上开了一个POOL 把ISCSI打开，然後.....抓不到。ESXI怎麽样都抓不到QNAP的ISCSI的服务 最後发现了ESXI+FREENAS的实际应用范例。 我就开始在库房里面翻找 凑了6颗1TB有5400&7200的硬碟、i7-4770K的主机、16GB的记忆体、1颗128GB的SSD 另外领了一个USB3的外接盒跟16GB的随身碟就开始了我的自建NAS之旅。 把I7-4770K的内建Quadro P600拔起来改内显(反正只要亮机) TRUENAS安装在外接随身碟(没办法，预算评估没做好只能自己吞) 6个1TB做RAIDZ(好像等同RAID5)勉强有个容错就行， 为了增加效能就把SSD装在USB3外接盒，做快取。 照网路文章设定的就抓到ISCSI硬碟空间了，接下来把VM从内建10T转移到ISCSI中 VM常驻4个目前效能都足够，至少告一段落了 後来又在库房翻到E3-1231V3的主机，恰好原本的4BAY的NAS退役。 把2T*4的NAS组上去，原本的I7-4770K上的RAM拆一半给E3用 E3-1231 V3 + 8GB + 亮机卡 + 2T*4 + 16GB随身碟搞起来变成第二组TRUENAS 准备拿来当正式NAS的第三备份。(4BAY NAS因为主板挂了只好让他退役) 感觉还是蛮基本的应用，远远比不上元PO大大的极限玩法。 分享到此，谢谢大家。 ※ 引述《tonysan (旅法师)》之铭言： : 网志没有比较好读版: : https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html : 七年前古文: #1MMGYTuc (Storage_Zone) : 自从组 FreeNAS 已经过了七年，特别写一篇 blog 详述中间各种变化与升级，下面条列 : 升级重点，给没时间细读的人参考: : 记忆体加满 - 128G : 加了一张 PCIe NVMe 扩充卡 : 把开机 USB 换成 NVMe : 再多加一张 NVMe 当成 L2ARC : 硬碟就地升级成 8TB : 拆外接硬碟，改 SATA 电源接头 : 用 smartctl 跟 badblocks 压力测试硬碟 : 阵列重组 (resilvering) : 升级区网，终於让主机板上的 10G 网卡解除限制器 : CIFS 效能从 3.5Gbps 提升到 5.45Gbps : 对细节有兴趣的请继续往下看... : 在 FreeNAS 上面跑几个比较肥的 VM，记忆体有多少都不够用。因此把记忆体加满这种事 : 情在经过大脑思考前，膝盖都已经下单结帐完了。不过每次重开机，VM 也会跟着一起重 : 开，不太方便，後来就把 VM 上跑的东西慢慢移到另外一台机器上跑 docker。 : 古早以前，FreeNAS 开机是放在 USB 上面，但自从 11.1 後，开机碟会有频繁的读写， : 官方建议放在正常的硬碟上。（当然我是直到 USB 碟挂点了才知道这件事情。） 但这张 : 主机板已经没有多余的插槽装二个开机碟。 : 还好主机板上还有一个 PCIe x16，我当然也可以装一张 HBA 扩充卡，或者是这个闪闪发 : 光的神奇装置 (ASUS Hyper M2 扩充卡)，而且正好主机板有支援 PCIe bifurcation，唉，我的膝盖又下单了...　 : 而且好像可以多插几张NVMe... 那就顺便加个 L2ARC 好了！ : 不过对效能影响最大的升级不在机器本身，当我把区网升级到 2.5G / 10G 後，限制器整 : 个解除，六颗 WD Red 4TB 竟然 CIFS 可以维持在 3.5Gbps，整个跌破眼镜。 : 不久後武汉肺炎（与它的变种们）就爆发了，加州还因为野火太旺，直接进入妈的刀锋战 : 士，接着供应链炸裂，跟不知道哪个天才发明的奇亚币，让硬碟价钱跳了好几阶，我的升 : 级计画就暂时被搁置了... : 直到某一天在附近的沟子口看到特价硬碟，我的膝盖就拿出信用卡下单了。但这特价硬碟 : 需要稍微处理一下才能用，要先从外接盒里把硬碟拆出来，并且把 SATA 电源接头第三脚 : 用绝缘胶带贴起来（用 Molex 转 SATA也可以） : 接上去确定硬碟都抓到以後，就开始烧机测试（注意，以下的烧机测试会同时烧掉硬碟上 : 的资料），用 smartctl 短长各跑一轮，接下来用 badblocks 进行读写测试（ -c 用大 : 一点会跑稍快），测试完後再跑一次 smartctl long... 这颗 8TB 总共花了 110 小时才 : 跑完（建议全部接上去，一口气压测）。我另一台机器只有 4 SATA port，只好分二批测 : 。 : （测完以後发现有二颗硬碟读写稍微快一点（2%），不知是硬碟乐透，还是正常的效能浮 : 动。） : 烧机烧完确定没有不良品，SMART 数值正常，就可以上线啦！利用 resilver 机制一颗一 : 颗慢慢换，每次 10 小时，换到後面越来越快，可能是因为从 5400 转升级到 7200 转， : 让整体效能慢慢增加的原因吧？换完 raid z2 pool 容量就自动升级到 8TB x (6-2) : 最後 CIFS 实测，cache miss 可以维持在 5.45Gbps，disk busy 大概在 80% 左右，看 : 来在区网全面升级成 10Gbps 之前，这台可以再战个几年没有问题。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.217.49.129 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Storage_Zone/M.1665503634.A.7C9.html