作者chang0206 (Eric Chang)
看板Storage_Zone
标题[讨论] 土炮 FC Storage
时间Thu Mar 27 17:39:43 2014
因为工作上的需求,最近在测试VDI的环境,虽然我本来已经有DELL的MD系列Storage
但是走的是iscsi的架构,原本只有 1G的频宽,
考虑到VDI在某些特定时段会发生大量的流量吞吐的情形,而且SI对於在现有环境下
实际测试出来的数据不满意,觉得不是很适合拿来建置VDI的环境。
当然啦,厂商想要赚硬体的钱,这种想法我可以接受
不过总是要知道如果改走8G甚至16G的fiber channel storage
和升级成10G的ISCSI 效能会差多少
可是厂商表示要借到整组走光纤的Server + Switch + Storage 可能有困难
而且基本上我手边的机器也没办法停机下来装HBA卡,毕竟只是为了测试而已
再加上不好光明正大的跟老板要个五万十万的预算就为了看看跑出来的效果如何,
老板大概只会回我「共体时艰」...
那借又借不到,老板又不给预算,那怎麽办呢?
想来想去,乾脆来土炮一组好了!
机房内有一些零组件,还有一台退役的R410,要搞起来应该不算太困难吧.
底下简单介绍这次测试用到的配备,其实光算硬体的价钱,真的不高,
毕竟都是一些散置在机房的备品,真正的额外支出很少
1.DELL 4G HBA 卡
DELL QLE2460 4G HBA Adapter x 2 / 300 RMB以内
淘宝购买,一张一百多块RMB
这是最具风险的部分,因为要从淘宝买过来,不敢保证东西到底会不会有问题
不过因为便宜,还是跟他赌赌看,8G的HBA售价几乎是10倍以上,所以不考虑
请大陆的同事买了之後直送台湾,很快就收到了
2.5.25转 2.5 x4 / 1500 台币
这次我计画要测试4G的FC实际上到底能够跑到多少速度,
如果用2.5"传统硬碟,担心硬碟速度会跟不上,
所以找了退役的四颗M4 64G SSD作为储存空间
因为一般PC不会有这麽多的SATA电源可以用,所以找了一个这种设备
http://www.icydock.com.tw/goods.php?id=97
http://www.pcstore.com.tw/megabid/M13937041.htm
把机壳上的一个5.25空间转成4 x 2.5,
本来这样子做会担心的就是硬碟温度,刚好我这次用SSD来测试,不担心温度的问题
而且这个东西只需要一个大4pin电源就可以了。
3.光纤线 / 300 台币
其实我一开始没想到光纤线居然这麽贵,短短五米都开价一千多..
後来直接找协力厂商帮忙搞一条LC-LC的线来,
算成本价 300块 (我本来想请他喝杯饮料就算了 XD )
4. DELL H700 Raid Controller
拍卖购买,含电池、线材 5000左右
5.其他硬体配备
CPU : i7 型号忘了 一点点重要,因为有大量IO,所以会吃CPU运算,
不过大概也就是i3等级可以轻松应付
M/B : ASUS P8Z68 Deluxe 主机板部分满重要的,因为HBA & Raid 都走PCI-E
而Z68本身没有内建显卡,所以显示卡又吃掉一个PCI-E 还好这张版子有
四个PCI-E 足够使用(除了HBA/RAID/VGA,我还多加了一张 Intel 网卡,
其实没啥必要,这张主机板本身就内建双网卡,其中一个也是Intel晶片)
RAM: Kingston 4Gx4 不是很重要,当作STORAGE用,RAM的用量不多
PSU: 随便
CASE:随便
硬碟: WD Sata 160G 灌系统用,不重要
OS: OSNexus QuantaStor 这东西满有趣的,可以用来管NFS/SMB/ISCSI/FC,
有兴趣可以下载来玩玩看,免费版可以用 6T的空间,绰绰有余。
花费不到 5000 台币
其他配备就算都买新的,我想应该也是一万以内可以搞定
主要就是注意PCI-E的数量要够就好
SSD如果用128G的下去玩,四颗 大概也是一万
不过因为我有多的M4 所以就没有另外买了
组装过程就略过了
除了买来的HBA没有短档版,要上R410时,必须拆档版,而且不太稳之外,没什麽大问题
在R410上装好VMWARE ESXI5 会自动抓到这张HBA卡,不需要管驱动,在PC上也是,
安装好QuantaStor,就可以看到HBA卡了
设定步骤也略过....
硬体、作业系统、VM都搞定之後
在ESXI上起一台Win8,然後跑Crystal Disk Mark 测试看看
HBA跑 2G 速度时,CDM测试出来的数据大概是 170/170 MB
HBA跑 4G 速度时,CDM测试出来的数据大概是 300/300 MB
距离理论数据(250/500) 都还有一段距离,其实这也是让我一直百思不解的地方
所以想上来问问看,是不是在家用PC上,PCI-E的频宽其实是「共用」的,
导致从RAID丢资料到HBA,受限於频宽,才达不到理论数据?
因为在我印象中,光纤的储存设备似乎不像ISCSI这种走ETHERNET的协定,会有衰减的问题吧?
或者是有人用过FC SAN的,有没有数据可以参考看看?
找时间我再来把SSD装去R410,然後改从R410提供空间给PC
看看这样会不会比较快..
--
会当凌绝顶,一览众山小。 —— 杜甫
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 60.251.177.1
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Storage_Zone/M.1395913187.A.2F0.html
※ 编辑: chang0206 来自: 60.251.177.1 (03/27 17:39)
1F:→ danny8376 :Z68搭i7的话 就只有CPU的16通道(显卡独占) 03/27 17:52
2F:→ danny8376 :再加上Z68自己的8个通道(剩下全部一起用) 03/27 17:53
3F:→ Litfal :MB级应该不是频宽问题吧?1.0单向单通都有250MB/s 03/29 12:35
4F:→ Litfal :而且如果是频宽问题,应该就算跑4G,也会卡在170 03/29 12:37
5F:→ chang0206 :所以楼上有没有建议还可以查那边? 03/29 15:16
6F:推 windrain0317:感谢,这资讯正需要xd 03/29 21:48