作者s6414073 ()
看板PC_Shopping
标题Re: [开箱] 打造高阶工作站(4)-Xeon E5-2650 x2
时间Mon Aug 12 01:48:18 2013
我也是做理论计算的Group
主要都是跑DFT
如果有接触的人 应该都知道他的计算量非常庞大
底下开了个话题 那我也一起加入讨论好了XD
顺便供後人参考
最近老板也是买了5台这样的机器
我是负责将这些电脑丛集串起来
我的规格跟h大几乎相同
机器规格:
CPU Intel Xeon Processor E5-2650 * 2
MB SuperMicro X9DRi-LN4F+ * 1
RAM SuperMicro 16GB DDR3-1600 2Rx4 ECC REG * 8
HD WD 500G 64MB RE4 5003ABYX * 1
HD WD 2TBMB RE4 2003FYYS * 1
CHASSIS SuperMicro 825TQ-563LPB *1
OS用 SuSE Linux Enterprise Server 11 SP2
使用OpenMPI-1.6.5 MPI Library
使用Intel Fortran Composer XE 2013 for Linux (2013.5.192)
有使用Composer XE 2013内的 Intel Math Kernel Library
主要是BLAS LAPACK FFT
我有关掉HT 因为对於计算来说HT没任何帮助 反而还会变慢
预留记忆体插槽之後要扩充用
之前job太大 使用的记忆体超过御风者fat node的上限(256GB) 就死掉了
用2个node才解决此问题...
NFS的主要规格:
Adaptec 6805 8-port PCIe SAS 2.0 RAID Kit
Seagate ST3300657SS SAS 15000RPM, 300GB (HD & Kit) * 8 做RAID0
为何不用SSD?
因为当file system多人读写 SSD的缓冲一定不够撑
SCSI硬碟支援多人读写 因此多人多工的环境加上SSD寿命问题 完全不用考虑SSD
主要的软体是VASP5.2和Gaussian09 这些软体都是用Fortran写的
Makefile 编译参数 OFLAG 御风者用-O2 -ip 效能最好
Xeon用 -O3 -ip -axAVX 效能最好
AMD机器 用他们的编译器 效能没比较好 连GotoBLAS效能也比MKL差
结果AMD机器用intel的编译器和MKL效能最好...
我们也是御风者的用户 御风者的是使用AMD的CPU
浮点运算效能颇弱(以DFT计算来说)
御风者是强在使用InfiniBand的网路架构
所以还是要看程式怎麽写 程式写得不好 平行效率就非常差
这里的平行主要是MPI架构 不讨论SMP架构
所以Code还是很重要 因此影响到体系
以VASP来说 单纯算结构Opt的话 御风者单机24core效率最佳
或是一台12core 走InfiniBand跨2个node 效率也不错
如果使用超过12core 只会变慢 不会变快
用越多core 会越慢
如果VASP是做找过渡状态 使用NEB方法 平行效率非常好
core越多 计算越快 御风者96core(2个node)是极限了 效率这里最好
Xoen的话5个node(共80core)效率最好 我们也只有五台这样的机器 所以没办法测下去
所以还是看你的体系决定用什麽电脑
以结构Opt来说 同一个job(学长从以前测到现在 所以就以他的标准)
Xeon E5-2650 *2 共16core 只需要8分钟
御风者 24core 需要32分钟
以上是单机跑
跨node 我以NEB计算为基准的job
Xeon E5-2650 *2 用5个node 80core 只要7小时
御风者 用2个node 共96core 将近7小时(不到7小时)
可能原因是1Gbps和InfiniBand的速度比起来根本是天壤之别...
所以这个比较 没啥意义...
新的CPU强是强在新的AVX指令集
Xeon的Cache也比较大
跟厂商借了ivy的i7的顶级款 用AVX2 还是一样被sandy的Xeon E5 打假的....
所以时脉似乎不是重点
也难怪Xeon的CPU特别贵(废话XD)
所以还是看你要算什麽体系而定...
Gaussian09的话 是使用OpenMP架构 所以单机跑效能比较好
Linda那个跨node的library效能超差的 所以就不装了
不过i7就够用了
如果用新的CPU 程式没有重新编译过 效能是一定跑不出来的
还有我不是资讯相关科系的人 如果我专业术语有错误 烦请纠正...
附上机房机器的两张图:
http://ppt.cc/R9YV
http://ppt.cc/pAYW
献丑了...
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 220.136.177.243
1F：→ ckgegg :快推 虽然我真的看不懂 08/12 01:51
2F：推 FTICR :专业!! 08/12 02:12
3F：推 georgei0 :同理论计算泪推 08/12 02:18
4F：推 NeedGem :想到这个... 因为自己工作上遭遇挫折, 所以只能... 08/12 07:03
5F：→ NeedGem :眼睁睁看别人已经在玩多机器了,多机一定要碰上 MPI. 08/12 07:04
6F：→ NeedGem :至於 openmp 只能单机使用... (默) 08/12 07:17
7F：推 cerberus4523:以前弄伺服器曾经很想买个机柜回家用，现在回头想想 08/12 07:50
8F：→ cerberus4523:我这种想法真是太智障了 08/12 07:50
9F：推 abc0922001 :推~ 08/12 10:06
10F：推 stupidfox :化学 或生化吗? 御风者不是在新竹的国家高速网路与 08/12 10:23
11F：→ stupidfox :计算中心 所以原po是交大的罗XD? 08/12 10:24
12F：推 stupidfox :BTW 你们有试过更换I/O吗，同样的预算下跑SSD raid0 08/12 10:26
13F：→ stupidfox :或丢ramdisk 时间/JOB的提升效果很明显喔! 08/12 10:27
14F：→ stupidfox :另外请问 御风者7小时 是算什麽样的JOB呢@@? 08/12 10:28
15F：→ s6414073 :SSD不适合多人多工 buffer不够大 08/12 10:31
16F：→ s6414073 :同时间 有人读 有人写 I/O一下就塞爆了 08/12 10:31
17F：→ s6414073 :七小时就用NEB Method 找TS的JOB 08/12 10:33
18F：推 stupidfox :Soga 了解:D 08/12 10:34
19F：→ s6414073 :御风者在新竹科学园区没错 但远端过去就可以送JOB了 08/12 10:34
20F：→ stupidfox :我们实验室人少 一个人大约可以分到一台工作站一 一 08/12 10:34
21F：→ stupidfox :不过工作站大概就原po那台的一半而已orz...虚弱 08/12 10:35
22F：推 touyalin :只能说实验室有那麽多预算真好.. 我们lab买不起.. 08/12 10:35
23F：推 soem :By the way, 在这种应用下DFS会不会比NFS适合呢？ 08/12 10:36
24F：→ s6414073 :可是软体安装这些我都是自己来 很累... 08/12 10:36
25F：→ s6414073 :请厂商弄还需要多个50万吧 08/12 10:36
26F：→ s6414073 :DFS有考虑要架了 目前正在看相关的文章 :-) 08/12 10:38
27F：→ touyalin :不过DFT比起CSD, CCSD来说, 计算量算是很小了.. XD 08/12 10:39
28F：→ s6414073 :应该不会哦 一个晶胞 500多个原子 一次就要一个礼拜 08/12 10:41
29F：→ s6414073 :丢fat node的long queue还算不完= = 08/12 10:41
30F：→ s6414073 :因为御风者有设wall time 所以时间到就把你砍掉 08/12 10:42
31F：推 QuentinHu :完全看不懂 先推 QQ 08/12 13:14
32F：推 KrisNYC :有神快拜 .... 08/12 15:28
33F：推 cckkyle :快推 08/12 18:06
34F：推 smkingpk :咦 我想问的是~现在SCSI不都已经转为SAS了? 08/12 21:51
35F：→ s6414073 :是 所以用的是SAS 只是我拿SCSI来举例 08/12 22:16
36F：推 maniaque :楼主有讲SAS 先呀,只是说真的还是习惯称之为SCSI 08/12 22:45
37F：→ maniaque :而且 SAS 的第二个 S ,也还是 SCSI 没有错.... ^_^ 08/12 22:46
38F：→ s25g5d4 :Serial Attached SCSI! 08/12 23:26
39F：推 hotdogee :Cool! 08/13 14:07
※ 编辑: s6414073 来自: 220.136.188.122 (08/21 00:10)
40F：推 tsstho : 感觉超屌的 我推 09/10 17:22