作者Esvent (Esvent)
看板PC_Shopping
标题[心得] 自组10GbE NAS心得 + 简单测试
时间Tue Dec 19 00:39:46 2017
前阵子因为系统不稳的关系，电脑很容易就突然就瞬间关机
电脑里面的磁碟阵列(RAID0)也因此常常崩溃，
运气好的时候可以靠fsck之类的工具重建成功，但更多的时候都只能直接格式化
然後漫长的等待回复备份，等到电脑恢复可用状态又是一两天过去了
重复着这样的日子让我起了由外部系统来管理硬碟阵列的想法
刚好手边有一些闲置的零件，便想说来组一台10GbE的NAS来跑RAID6
在增加资料安全性的同时，仍保持一定的存取速度
最後终於在今年1111与1212的优惠加持之下把零件凑齐了
https://i.imgur.com/AFhKOEW.jpg
因为手边有多出来的DDR3记忆体，所以选择了CP值比较高的LGA 1155来组
https://i.imgur.com/UrBk33j.jpg
U-NAS的NSC-810A机壳，提供八个硬碟热插拔插槽，特点是可以装得下M-ATX的板子
机内空间也比较有余裕，组装起来比较不会那麽反人类
https://i.imgur.com/ixaRKY4.jpg
背後有两个120mm PWM风扇，跟1U Flex电源的开口
PCI-E卡的开口不是平行的，所以不能装超过一槽高度的卡
https://i.imgur.com/6DTkanY.jpg
内建八条安费诺细银SATA线，但比较令人沮丧的部分的是厂商没有帮忙标上硬碟的编号
害我开了写轮眼看了半个小时才成功把所有SATA的编号标上去..
https://i.imgur.com/sQLNf9a.jpg
八颗硬碟全靠这两个4Pin供电
https://i.imgur.com/XHiJJ1f.jpg
将比较简单的部分都先接上，CPU的供电因为1U Flex大多没有提供EPS12v
所以只能将ATX12V靠左接上，还好这次选用的E3-1245 v2吃电不多还可以开机
如果是比较耗电的CPU可能就需要注意了
https://i.imgur.com/6gWv7x2.jpg
直接从内部拉一条USB2.0来连接USB导引，就不用丑丑的插在外面了
https://i.imgur.com/x1P8tw4.jpg
最後就是PCI-E卡了，因为机壳设计的关系一定要用延长线才装的上去
https://i.imgur.com/TaCPMNh.jpg
淘宝买的便宜SATA扩展卡，频宽只有可怜的PCI-E 2.0 x1
不过好在B75M-D3H本身就有六个SATA，所以这张只要负责两个硬碟就可以了
https://i.imgur.com/koWsand.jpg
今天主角之一的10GbE光纤网路卡，似乎是大量出清的洋垃圾
目前在淘宝上的价格非常漂亮，不到千元就能入手
https://i.imgur.com/ojzX2ln.jpg
层叠的方式安装上去，散热感觉挺让人担心的
https://i.imgur.com/JaXdYD7.jpg
内装的部分完成
https://i.imgur.com/l9acOuM.jpg
整线的部分..只能说我尽力了
https://i.imgur.com/1KkHNnn.jpg
硬碟要一颗一颗慢慢锁上硬碟架，插进机器的吻合度还不错，没有卡住的状况
考虑到HGST对於RMA的外观要求，硬插很有可能就不能送修了
https://i.imgur.com/ynGD2tX.jpg
最後开箱一下10GbE的主角，XS708T交换器
本身有提供两个SPF+光口、八个RJ45电口(其中两个跟光口共用)
刚开机的时候风扇的声音大概跟吹风机差不多，瞬间让我有退货的打算，令人印象深刻
不过过一两分钟就会恢复正常了
https://i.imgur.com/r3kOtMD.jpg
最後组合在一起的样子，运作声其实还挺大的，极度不建议放在自己的房间
https://i.imgur.com/Pttof1L.jpg
简单的效能测试与比较，串场的是Intel 520 240G与Samsung 960 EVO 512G
NAS的部分因为我是用档案式的LUN来作iSCSI，采用的档案系统也是比较慢的btrfs
不然应该可以更快一些
https://i.imgur.com/SER7UDN.png
整体来说，这个储存系统的效能几乎可以达到一般SATA 3.0 SSD的读写水准
不过容量却是突破天际的24TB，整个系统的花费大约落在70K左右
而且最近NETGEAR又推出了更便宜的10GbE交换器(XS505/508系列)，可以再省10K左右
需要大量储存并且同时需要保有一定读写速度的板友或许也可以考虑看看。
(更正，大约77K左右，忘记计算机壳的部分)
感谢各位的收看！
附件
详细零件列表及花费
CPU: Intel E3-1245 v2 淘宝 3807元
MB: 技嘉 GA-B75M-D3H Friday购物 2490元
RAM: 创建 DDR3 1600 8GB x 2 自有
HDD: HGST NAS专用碟 7200rpm 4TB x 8 Yahoo购物 30720元
网卡: Mellanox MNPA19-XTR (SPF+，NAS用) 淘宝 499元
Intel X540-T1 (RJ45，黑苹果/PC用) 淘宝 2438元
扩充卡: 乐扩 SATA3 扩展卡 淘宝 625元
PSU: 海韵 SS-350 M1U 淘宝 2560元
Case: U-NAS NSC-810A 淘宝 6790元
交换器: NETGEAR XS708T Momo购物 25830元
线材: SFP-H10GB-CU3M SPF+直连条线1M 淘宝 114元
群加 Cat.7 网路线 15M Momo购物 720元
9Pin to USB2.0转接线 淘宝 50元
其他运费&杂支 700元
总计 77343元
--
「地方的名字是什麽都可以。厕所和餐饮。日光灯和塑胶椅。难喝的咖啡。
草莓果酱三明治。这些东西是没有意义的。要说什麽是有意义的，
只有我们是从什麽地方来的，要去什麽地方而已。对吗？」
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.226.18.72
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1513615191.A.B07.html
1F：推 s25g5d4 : 推 12/19 00:46
2F：推 b325019 : 其实一般企业级/网管型L2开机声音都非常大，等到开 12/19 00:47
3F：→ b325019 : 机完成後转速就会降下来了属於正常现象 12/19 00:47
之前都没用过网管型的switch，这个开机声实在让人印象深刻..XD
4F：推 Parodius : 推 ! 12/19 00:51
5F：推 HGJman : 自用24TB吗？是装什麽东西XD 12/19 00:54
是给全家人一起用啦，当然影片之类的也是不会少的
6F：推 ejrq5785 : 帅... 12/19 01:17
7F：推 s25g5d4 : 你有看过一柜 2x 台 Juniper 起飞的声音吗 12/19 01:26
可惜工作上没有什麽机会进机房，不然倒是满想去感受一下那个震撼力@@
8F：推 pobynb : 帅 12/19 01:27
9F：推 a58524andy : 这个速度有点厉害 推 12/19 01:32
10F：推 atrix : 推 12/19 02:39
11F：推 a12650456 : 很厉害欸 推 12/19 02:42
12F：推 asd235s89 : 24T蓝光电影院 12/19 02:56
13F：推 exeex : 好奇交换机和网卡多少钱@@ 12/19 03:01
我把这次详细的花费加在文章最後面罗
14F：推 corydoras09 : 不明觉厉 12/19 03:04
15F：推 TaricOP : 一般旧PC也可以弄成NAS吗？ 12/19 03:33
当然可以，不过要注意功耗的问题
另外也满多人会用虚拟机来装NAS的
16F：推 zaihuila : 帅 12/19 04:06
17F：推 bakayalo : 以前的资料储存主机本来就是PC组的，nas是後来出现 12/19 05:03
18F：推 Rusnake5566 : 帅 12/19 06:59
19F：推 ATand : 其实NAS就是一台有後台管理的简易PC 12/19 08:13
20F：嘘 ry3298 : 推 12/19 08:22
21F：→ ry3298 : 稍後补推@@ 12/19 08:23
22F：推 ry3298 : 推 12/19 08:26
23F：推 xxx61004 : 看起来是装黑群晖XD, switch可以淘宝买很便宜... 12/19 08:40
淘宝便宜的机种我也有看了一些，
不过10GbE的部分似乎都是以SPF+为主，其他的RJ45都只有GbE的速度而已，
而且评论有人指出机器的内部频宽其实不太足够，上不了10GbE
最後还是选择在台湾买NETGEAR，RJ45布线比较简单
还有网管可以做线路聚合，最重要的是有五年保固换新XD
24F：推 balius : 机房用的产品都没在乎噪音的啦XD 12/19 08:42
25F：推 birdy590 : IDC 里的主流是 SFP+ Direct Attach, 10GBase-T 少 12/19 09:17
26F：→ birdy590 : 高档一点的直接用 10GBase-SR/LR, 洋垃圾当然都这些 12/19 09:19
27F：→ poco0960 : 10台1U SERVER开机声音就够了 12/19 09:21
28F：→ birdy590 : 现在的机器内部频宽不会不够啦 通常是卡硬碟吧 12/19 09:23
29F：→ petercoin : 4PIN转SATA电源感觉有点风险 12/19 09:33
4PIN是从机壳的电路板接出来的，不是那种直接大4PIN转SATA电源的转接线
应该不会有太大的问题(?
(机壳里面有两块电路板，每块提供四个SATA热插拔插座，以一个4PIN供电)
30F：推 goldie : 看起来很赞，推！不过电源应该可以再喂好一点 12/19 09:43
其实这个电源个人觉得还算不错，他本身就是搭配我的这个机壳一起贩售的，
线路够长，又有闲置停转，就是价钱有点偏高
我本来是想说在台湾自己买一个有保固的，殊不知找了半天不是没得买就是不是不足瓦
然後上淘宝找也是多灾多难，不过又是另一个故事了..
31F：推 rtwodtwo : 10GBase-T 用 CAT6 CAT7 应该跑的出10G吧 12/19 09:56
32F：推 Windcws9Z : 推 12/19 10:07
33F：→ birdy590 : 线不长的话可以... IDC 里不盛行是因为设备的关系 12/19 10:10
34F：→ birdy590 : 10GBASE-T 很耗电, 降低功耗版做到 2.5W 只能传 30m 12/19 10:14
35F：→ birdy590 : SFP+ 就算最远的 80km 也只要 1.5W, 机房内都 <1W 12/19 10:14
36F：推 saito2190 : 哦哦哦自家超绝电影院XD 12/19 11:20
37F：嘘 corlos : switch的声音很正常退什麽货 12/19 11:32
Sorry本人外行，没有用过这种网管型的switch
当下只觉得如果这种等级的噪音会一直持续的话，那就不太可能摆在家里了
38F：推 ad : 为什麽不用freenas的zfs? 12/19 11:41
其实我一开始就是考虑组FreeNAS
不过後来读到FreeNAS的文件上说建议要使用ECC记忆体，成本太高所以就放弃了QQ
39F：推 Ekmund : 屌 12/19 12:03
40F：推 willyhgg : 不好意思 .. 所以是灌什麽OS呢！谢谢 .. 12/19 12:22
有几位板友猜到了..碍於站规无法详细说明
有兴趣板友的请自行Google
XPEnology
41F：推 Windcws9Z : 建议要使用ECC记忆体 但没有说一定要用啊 12/19 12:56
看到有Recommanded这个字眼就有点难以忽略XD
42F：→ WeAntiTVBS : 因为现在记忆体又贵..用ECC记忆体 依照原PO CPU种类 12/19 13:05
43F：→ WeAntiTVBS : 也必须用C216的主机板..想一想就不合成本.. 12/19 13:06
44F：→ WeAntiTVBS : 但是好处就是CPU会多一组PCI-E 2.0 x4频宽可以上 12/19 13:06
45F：→ WeAntiTVBS : 高频宽的介面卡使用 不用迁就於PCH有限的频宽 12/19 13:07
不过特殊板台湾都买不到，惨
46F：推 lovesheo : 楼主是用NAS系统吗? 12/19 13:22
是用专门为NAS设计的OS没错
47F：推 asdg62558 : 推 12/19 13:24
48F：→ birdy590 : 10G 以上交换晶片发热量不低~ port多的风扇都很夸张 12/19 13:31
49F：推 a0919610611 : 推 最近想把旧电脑改装成NAS 12/19 15:48
50F：→ ornv : 阿这个一看就黑群XDDD 12/19 17:16
XD
51F：推 chickengod : 猛猛的 12/19 18:05
53F：→ s25g5d4 : 大概是这样，不过我之前是 24 port 低阶的，这款 12/19 19:42
54F：→ s25g5d4 : 是比较好的 48 port 低阶机 12/19 19:43
55F：→ s25g5d4 : 不过这只有一台，以前机房排插一打开二十几台开机 12/19 19:43
56F：→ s25g5d4 : 真的很～吵～ 12/19 19:43
感觉快飞起来了..
57F：推 tomsawyer : 黑群是指 用Dsm的自制nas(伪Synolgy?) 12/19 20:16
58F：推 Ibarra : 其实楼主 我觉得反而去买片DELL拆机的RAID卡会更好 12/19 23:11
59F：→ Ibarra : 不过还是恭喜 很难得能看到这样的测试 12/19 23:11
60F：→ Ibarra : 而且RAID卡的容错能力比主机板PCH好这是真的 12/19 23:11
有支援超过四颗硬碟的RAID卡的价格似乎都挺可怕的..
61F：推 Wall62 : 推 12/20 01:03
62F：推 tavor110 : 认真推 12/20 10:35
63F：推 Joey452 : 传输速度倒不是很在意，比较顾虑到点击档案开启时的 12/20 14:30
64F：→ Joey452 : 反应时间，不晓得版大要如何解决区网开多档时的延迟 12/20 14:30
65F：→ Joey452 : 感？ 12/20 14:30
66F：推 Joey452 : 也想知道这个机壳的散热，能否麻烦版大分享温度，最 12/20 14:52
67F：→ Joey452 : 近资料量也越来越大，搞得很头痛 12/20 14:52
我其实也是第一次架设这种类型的网路储存系统，所以也不知该怎麽办XD
我自己的话之後是还有打算增加SSD快取以及网路聚合来增加存取速度
或许你可以先测试看看你那边的效能瓶颈是在哪一块，再决定怎麽升级
至於温度的部分，我看CPU与硬碟大部分时间都是在35 ~ 40度上下，
使用测速软体大量存取的时候也没有明显增加的状况
※ 编辑: Esvent (36.226.18.72), 12/20/2017 23:41:03
68F：推 a6530466 : 其实淘宝上的 HP P420 还蛮便宜的，楼主可以试试看 12/23 00:48
69F：→ a6530466 : 。 12/23 00:48
70F：推 Joey452 : 感谢原Po分享，3Q 12/23 21:39