作者HMKRL (HMKRL)
看板Storage_Zone
标题[心得] 自组家用 Server / 虚拟化 NAS
时间Tue Mar 23 18:03:29 2021
前情提要：
#1WCn4E7C (PC_Shopping)
因为家人好久以前买的NAS差不多满了 + 效能太差
决定来自组一台 主要用途是放照片 & 很多 BD 转档出来的影片
为了稳定性要上 ECC 记忆体 原本考虑 i3-9100 + C246 主机板
但订货不知道要等多久
i3-9100 当NAS过头 做其他用途又不太够力
做了点测试後发现目前的日用主机 (Ryzen 3900X + TUF X570 Plus) 支援ECC没问题
就打算把所有东西都虚拟化了
新增零组件：
1. ECC 记忆体 Kingston KSM26ED8/16ME 16GB x4
QVL上的唯一一组有标ECC的 RAM
原本打算求稳跑预设2666就好 但後来发现这个东西
https://i.imgur.com/dTEZAOO.png
不知道是美光不产8Gb的 2666 E-die了还是别的原因
直接用3200等级的颗粒取代
拿到的记忆体上也确认颗粒是 D9WFL (1.2V 3200MHz等级)
所以就设定成JEDEC 3200Mhz了 (华硕BIOS还偷加电压到1.35 要手动回1.2)
跑了8轮的 memtest86 没有问题 ECC 功能也正常启动
2. CPU塔散 (风魔二)
原本直接用原厂散热器，不超其实够用
但因为能装多硬碟的机壳相对风流比较差
也不希望CPU热气吹去硬碟那边 就上了塔散
3. Intel I350-T4 网卡
我打算连路由器一起虚拟化 所以多买了一张Dell Server拆机卡
取代掉主机板的Realtek网卡 (那张设固定IP当作管理界面用)
这张卡很多假货 我自己觉得比起买所谓的"新品" 不如买拆机卡
4. WD HC320 8TB x 4
四颗组 RAIDz2
刚拿到会是512e格式 可以用WD的 "hugo" 工具转换成4Kn
hugo format -b 4096 --fastformat
工具可以跟原厂客服要 或是搜一下也有人放连结出来
转换完後会看到 Pyhsical / Logical block size 都是 4096
5. 机壳 FD R5
这边就要感谢乡民了，这咖是原厂不良品RMA没有收回的
他直接让我搬来自己修 搞定又能用了（！）
能装8颗3.5寸 HDD 虽然没有热插拔但硬碟方向拆装很方便
又安静 搭配14CM风扇散热也还不错
算是组家用Server的好选择
6. Arctic P14 PWM CO 风扇 x3
前二後一 因为基本上不会关机就直接上了双滚珠的CO版本
风压扇可以有效把气流吹过硬碟架
(也有人会拿 F 版本风量扇装背版 但我查起来 P 版好像是新的马达乾脆直上)
要稍微调整一下排风扇的转速 低速状况要比前风扇低 不然会负压变吸尘器
7. CyberPower CP1000PFCLCD UPS
一堆硬碟还是装台UPS比较安心，用 COM Port 接到电脑
配合PowerPanel程式 停电过60秒後就会自动关闭所有虚拟机後关机
系统部份：
底层用 Proxmox VE 当 Hypervisor
上面跑几台VM
- TrueNAS 直接Passthrough 主机板的 SATA controller
可以直接控制硬碟 符合ZFS的需求
- vyos 软体路由器 Passthrough intel 网卡
网路线从中华GPON机拉出来直接接过来拨PPPoE
再用第二个Port当成LAN接给AP和Switch给其他设备
- 日用机 Linux 日用机，Passthrough一张 RX570
以及主机板的所有 USB Controller
还有一块 NVMe SSD当系统碟
其他还有给朋友玩的 Minecraft server / Handbrake 转档机
jellyfin 等等 和 NAS 比较无关就不提了
网路设定：
自组 NAS 很多人都会装 10G 网卡 才不会卡在 1Gbps 频宽
网卡可以捡拆机货 但交换器就很贵 线材什麽的也都会增加成本
全部虚拟化的优点就是不用烦恼这个 直接建一条 Bridge network
MTU 开到 9000 当作虚拟机之间的高速通道
https://i.imgur.com/A4PIaxO.png
直接有 30G 的内部连线 不管是转档VM还是日用机都走这条
另外再建一个bridge介面 负责对外的网路连线
要从外网连回来的话为了安全起见用 WireGuard 当 VPN
连上才能存取NAS和VM (剩下开放的 Port 就是SSH 只允许pubkey登入)
整个建好後测试读写效能 4颗RAIDz2写入可以到400MB/s左右
但读取目前好像有OpenZFS的issue(
https://github.com/openzfs/zfs/issues/9375 )
我自己测试只有 250-300MB/s 但对於影音档来说很够用了
想了想还是保留RAIDz2 没有改用striped mirrors
硬碟温度也都在40度以下
也还有四颗硬碟的扩充性 比起市售NAS划算很多
但建议没有相关经验的话要认真考虑XD 过程中遇到问题不少
想办法解决的人力也是成本 (还不一定解的掉)
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.116.245.242 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Storage_Zone/M.1616493812.A.463.html
1F：推 stonys : 推 03/23 20:08
2F：推 sugoi5566 : 推～ 03/23 20:13
3F：推 andy199113 : 03/23 20:22
4F：→ nkfcc : 你的备份装置用了什麽不写一下？ 03/23 20:30
照片类的这边一份 Google相簿一份 离线外接硬碟一份 旧NAS一份
BDrip的影片资料不特别备份 反正原片都封存 真的出事大不了全部重压
想说备份算是另外一个议题了 就没有一起放进去～
5F：→ maniaque : 正 3200 烧不过,打下来当 2666卖,又或者是2666没料 03/23 20:54
6F：→ maniaque : 拿3200 原生颗粒来顶,也不是什麽太意外的事情吧 03/23 20:54
7F：→ maniaque : 要是後者就是捡到100% ,前者好歹只是heavy loading 03/23 20:55
8F：→ maniaque : 没过官方要求而已,还是可以跑跑 03/23 20:55
敢这样用除了上面那份资料以外还有两个原因
1.
https://media.kingston.com/pcn/PCN_KSM26ED8_16ME_P.pdf
"Phase out due to supplier DRAM density transition."
这款的後继产品是用 "16Gb" 颗粒 => 旧颗粒要慢慢停产了 先用新的垫着
2. 除了 memtest以外还有用 mprime(P95) 烧了两三晚的记忆体压力测试
都没出现问题 (ECC也回报没有发生後被纠正的错误)
不然ZFS这麽吃RAM的东西其实不应该这样搞的XD
9F：推 TWN48 : 推 请问日用机是用什麽协定挂 storage？ 03/23 21:43
目前都是开 NFS (都是家人用不太需要管权限)
不然我觉得 SMB 会好管理一点
10F：推 TWN48 : 谢谢 03/23 22:08
11F：推 okgogogo : +1这几年也从ESXi换到PVE 03/23 22:27
12F：推 TWN48 : 请问从 ESXi 换到 PVE 的动机是？ 03/23 22:31
13F：推 ThisIsNotKFC: 强者推 03/23 23:03
14F：推 wei115 : 推 一直觉得现在硬体效能过剩了，除非要长期跑运算 03/24 00:02
15F：→ wei115 : ，不然闲置时间其实很长，用虚拟化就能善用这些资 03/24 00:02
16F：→ wei115 : 源 03/24 00:02
17F：推 sdbb : 03/24 01:34
18F：推 taipoo : 推 03/24 03:56
19F：推 sixf0ld : 推 最近想搞但第一次碰pve好像有点小难，不知道有 03/24 10:55
20F：→ sixf0ld : 没有推荐的学习资源 03/24 10:55
PVE我问题解法几乎都是官方文件找来的
如果是教学可以翻翻Youtube
21F：推 xiaotee : 看不懂给推 03/24 14:02
22F：推 niverse : 推 03/24 14:28
23F：推 Esvent : 我的PVE Bridge也是这样用 不过跑起来只有2XGb 03/24 15:53
这个速度很吃CPU资源 我跑满30G的时候3900X的占用率会冲到10-20%
24F：推 kobe8112 : 金搞刚给推XD 03/24 15:59
真的XD
25F：推 skasia886 : 推 自己也用i5 4代 架pve跑omv+openwrt+plex omv再 03/24 16:40
26F：→ skasia886 : 跑docker架aria2+openvpn+homeassistant 爽爽用中 03/24 16:40
可惜i家把 ECC 锁了 不然其实原本想拿类似的CPU来组的
※ 编辑: HMKRL (140.116.245.242 台湾), 03/24/2021 19:05:31
27F：推 homelife : 好屌，我光用pi做个简易NAS都懒.. 03/25 06:30
28F：推 wayne1120 : 推 03/25 10:04
29F：推 chang0206 : 好奇问一下那个bridge怎麽做的？可以冲到30G频宽？ 03/25 13:38
30F：推 Esvent : 在PVE上建一个Linux Bridge 指定一个网路范围 03/25 14:04
31F：→ Esvent : 不要绑任何Port 然後把想要连上的虚拟机或LXC各自 03/25 14:04
32F：→ Esvent : 添加一个网路介面到这个bridge并指定一个IP即可 03/25 14:04
33F：推 hollen9 : 资源利用的有点威猛 不只省钱还图了方便 03/25 16:58
34F：推 FRX : 推专业分享！ 03/26 09:02
35F：推 chang0206 : 感谢Esvent解释 有机会来试试看 谢谢 03/26 10:07
36F：推 mmhg : 推 我想知道待机功耗大该多少? 03/26 10:52
37F：→ HMKRL : 暂时没机会看到待机XD 正在从旧NAS拉资料 UPS回报12 03/26 13:33
38F：→ HMKRL : 0W 待机我猜应该100上下吧 03/26 13:33
39F：推 mmhg : 感谢! 03/26 15:44
40F：推 creamdancer : 推 03/26 19:22
41F：推 Alllllogo : 推 03/26 21:42
42F：推 tennyleaz : 推 我用PVE上面架OpnSense和Xpenology 03/27 11:19
43F：推 sachialanlus: 强者推 顺便收藏以後参考 03/28 10:18
44F：推 fcshden : 推 03/29 22:39
45F：推 patty01280 : 虽然看不懂还是推 04/01 00:03
46F：推 wk415937 : 推 04/03 14:22
47F：推 eric525498 : 推 04/05 18:03