作者hotdogee (hotdog)
看板PC_Shopping
標題[開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG
時間Tue Jul 16 00:34:51 2013
目錄： 文章代碼(AID)
[閒聊] 打造高階工作站(1)-計畫
#1GAK0qnE (PC_Shopping)
[開箱] 打造高階工作站(2)-EE-ATX機殼
#1GBL9YOk (PC_Shopping)
[開箱] 打造高階工作站(3)-CPUx2 DIMMx24 主機板
#1GOrrXS6 (PC_Shopping)
[開箱] 打造高階工作站(4)-Xeon E5-2650 * 2
#1Hu0zJMG (PC_Shopping)
[開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG 本篇
____________________________________________________________________________
Blog網頁版：
http://hotdogee.blogspot.tw/2013/07/5-196gb-ddr3-ecc-reg.html
前言
本系列第五篇的主角是24條金士頓 8GB DDR3-1333MHz CL9 Dual-Rank ECC Registered
DIMM[
http://goo.gl/SMf4Y (pdf)]，型號是KVR1333D3D4R9S/8G：
http://goo.gl/5ZZwV (圖)
平常買消費型電腦的記憶體模組大概只會看到"金士頓 8GB DDR3-1333MHz CL9"為止，
所以我在這邊先簡單介紹一下CL9之後那一串字("Dual-Rank ECC Registered")的意思
與其在選購本工作站的記憶體模組時的重要性：
‧Dual-Rank：選購一般記憶體模組時其實不會去在意它的Rank數，但是在選用這部
工作站的記憶體模組時，這卻是很重要的規格，因為如果錯買成Quad-Rank的
8GB記憶體(如金士頓的KVR1333D3Q8R9S/8G[
http://goo.gl/pA1Nw (pdf)]，
型號只差兩個字)，我就只能插16條128GB，而不能插到24條192G。
Intel Xeon E5-2650[
http://goo.gl/a2dJE]跟消費型LGA2011 CPU一樣都是四通道
的CPU，而因為每個記憶體通道只能支援8個Rank，四通道的CPU就可以支援32個Rank
，兩個CPU總共是64個Rank，所以如果用了Quad-Rank的記憶體(Quad=4)，每個CPU
最多就只能插32/4=8條記憶體模組，兩個CPU就可以插64/4=16條記憶體模組。
Supermicro X9DRi-LN4F+[
http://goo.gl/x7VEz]這塊主機板每個通道都有3條DIMM
插槽，所以如果每個通道要插三條記憶體就必須要用Dual-Rank(Dual=2)的記憶體
模組。附帶一提，同樣是8GB的記憶體模組，Quad-Rank模組都會比Dual-Rank模組
來的便宜，是因為製造Quad-Rank記憶體模組所需的DRAM記憶體顆粒成本比較低。
[1]
http://goo.gl/QH0Xo
[2]
http://goo.gl/fcPXd
‧ECC：一般的記憶體模組上面會看到8的整數倍個DRAM記憶體顆粒，一次存取都是64-bit
的資料；但是在ECC記憶體模組上會看到9的整數倍個DRAM記憶體顆粒，一次存取都
是72-bit的資料，多出來的8-bit是用來儲存偵錯碼[
http://goo.gl/U115H]
，記憶體控制器可以用偵錯碼修正64-bit資料裡面發生的所有1-bit的錯誤，
偵測所有2-bit的錯誤與部份3-bit的錯誤。Google於2009年發表的一篇
論文[
http://goo.gl/xxhHM]裡提到，他們用兩年半的時間在實際的機房內量測到
的記憶體錯誤率約為2.5~7x10^-11 error/bit·h，以這台工作站的196GB記憶體
來說，每小時會發生40~110次錯誤；若拿一般電腦8GB記憶體來看，每小時會
發生1.6~4.5次錯誤。最後從價格上來看，因為相同容量下ECC記憶體模組要用到
更多DRAM記憶體顆粒所以成本會比較高。
[3]
http://goo.gl/7S45g
[4]
http://goo.gl/dF2Yy
‧Registered：從外觀上來看Registered記憶體模組上面會多一至數顆外觀與其他DRAM
記憶體顆粒長的不一樣的Register晶片，這顆晶片放在記憶體控制器與DRAM晶片
兩者之間，用來降低記憶體控制器的線路負載。一般沒有Register的記憶體模組
稱為Unbuffered Memory，此時記憶體控制器的RAS, CAS與其他控制線路是直接連
到每一顆DRAM晶片上，如果一個模組有18顆DRAM晶片，光4個模組就有72顆晶片需
要與記憶體控制器相連，連上來的晶片數量越多，負載越大，大過一個程度就會
造成電子訊號不穩，這是一個物理限制。所以解決的辦法就是在模組上多放一個
中間人(Register)，如此CPU上的記憶體控制器就等於只要跟每個模組上的這個
晶片溝通，不需要直接對每個DRAM晶片下指令。當CPU下記憶體存取指令時會先送
到Register，再由Register把指令傳給模組上的DRAM晶片，如此大幅降低線路負載
，增加穩定性，而間接增加可控制的記憶體容量上限。實際上來看，
Supermicro X9DRi-LN4F+[
http://goo.gl/bDZSF]這塊主機板如果用Unbuffered模組
，只能支援到128GB的記憶體上限；採用Registered模組則可以支援到768GB的
記憶體上限。
[5]
http://goo.gl/szAXp
[6]
http://goo.gl/wn1lY
外盒
難得一次入手24條盒裝金士頓高階記憶體，不免俗地要來個疊疊樂，這是左側面：
http://goo.gl/tTDXS (圖)
這是上面：
http://goo.gl/6ru2W (圖)
這是右側面：
http://goo.gl/pe6jR (圖)
還可以排成一面金士頓記憶體牆：
http://goo.gl/Hk56M (圖)
這兩位是賣記憶體的(誤)：
http://goo.gl/oODAl (圖)
盒子正面：
http://goo.gl/VVHZ5 (圖)
盒上左下角標籤寫了：
商品名稱：遠東金士頓記憶體模組
商品型號：KVR1333D3D4R9S/8G
功能規格：8GB DDR3 1333 伺服器 1支裝記憶體裝置
產地：台灣
額定電壓：1.5V
http://goo.gl/CDp7T (圖)
盒子背面：
http://goo.gl/PpY0V (圖)
開箱
準備割開原廠封條：
http://goo.gl/PIAdi (圖)
把盒裡的塑膠盒拉出來：
http://goo.gl/LwWTB (圖)
塑膠盒背封條上的警告標誌：
http://goo.gl/0Zrc0 (圖)
把盒子翻過來：
http://goo.gl/gmRx4 (圖)
盒子正面封條印有本模組的型號、規格及產地：
http://goo.gl/vvC2r (圖)
封條側面的二維條碼：
http://goo.gl/8BtoZ (圖)
把24支內盒都拿出來排隊：
http://goo.gl/dQaKG (圖)
http://goo.gl/6v41L (圖)
24個記憶體內盒疊疊樂：
http://goo.gl/fdMZW (圖)
割開內盒封條，打開上蓋可以見到記憶體模組本體，正面有18個DRAM晶片與
1個Register晶片：
http://goo.gl/6KDyf (圖)
記憶體模組背面有18個DRAM晶片：
http://goo.gl/cvrJa (圖)
記憶體模組上的貼紙：
http://goo.gl/k0n6T (圖)
貼紙左邊的防偽圖樣：
http://goo.gl/Pu0nX (圖)
換個視角可以發現上面Kingston標誌是用變色油墨印的，也發現原本看似白色
的紙張上也印有微小的字：
http://goo.gl/TWe4O (圖)
每個模組上共有36顆Elpida J2104ECSE-DJ-F，日本爾必達[
http://goo.gl/XvKYn]
去年(2012)破產被美光收購了，這是一顆512M x 4-bit的DRAM晶片，
代表每一顆有512M個可獨立定址的空間，每個空間大小是4-bit，所以一次
輸出72-bit就要72/4=18顆晶片，所以1個Rank就是18顆，而Dual-Rank就是36顆：
http://goo.gl/HoMAZ (圖)
每個模組上只有一顆Inphi INSSTE32882LV-GS02[
http://goo.gl/VrmNQ]
負責前言所述Register的功能：
http://goo.gl/n7at4 (圖)
模組銅接腳：
http://goo.gl/qRlcz (圖)
http://goo.gl/p0luN (圖)
24條金士頓KVR1333D3Q8R9S/8G[
http://goo.gl/pA1Nw (pdf)]模組疊疊樂：
http://goo.gl/E9hcZ (圖)
模組疊疊樂斜面照：
http://goo.gl/bSj0y (圖)
模組正面照：
http://goo.gl/CYscw (圖)
當初趁記憶體便宜的時候1支是2500元含稅，這一疊是6萬：
http://goo.gl/faOeo (圖)
開完箱留下的空盒疊疊樂：
http://goo.gl/AQdzb (圖)
安裝
上篇[
http://goo.gl/a2dJE]已裝好兩顆CPU加兩個風扇，這篇就繼續安裝記憶體：
http://goo.gl/RUy8n (圖)
跟安裝一般DDR3記憶體一模一樣，先把兩邊白色卡榫打開，看好防呆方向，
兩邊平均施力下壓就完成第一條記憶體的安裝：
http://goo.gl/Y1KPC (圖)
還剩下23條要插：
http://goo.gl/CrHJn (圖)
過了5分鐘就裝好了：
http://goo.gl/vbB7c (圖)
24支記憶體模組安裝完成：
http://goo.gl/jW8Qu (圖)
CPU跟記憶體都裝好後就可以來安裝機殼附的導流罩，再裝上去前要先根據記憶體
安裝的數量做調整：
http://goo.gl/N1sGw (圖)
先拆下上方的壓克力片：
http://goo.gl/nj4u6 (圖)
將左下方的壓克力板向外移到最後一格：
http://goo.gl/YrmBX (圖)
右下方也一樣向外移到最後一格：
http://goo.gl/2exUc (圖)
根據24條記憶體而調整完成的導流罩：
http://goo.gl/db8kF (圖)
裝上導流罩，跟記憶體完全接合，有效利用前後各兩個機殼風扇幫助
CPU與記憶體的散熱：
http://goo.gl/W46BM (圖)
測試
裝完Win7後進到"系統"，確認有192GB的記憶體：
http://goo.gl/Yzehv (圖)
不過跑Windows體驗指數的時候卻遇到了問題，無法跑完：
http://goo.gl/wrAZP (圖)
錯誤訊息顯示"無法測量系統記憶體效能"：
http://goo.gl/0Blh1 (圖)
Google後發現這個bug只會出現在CPU的L3快取大於16MB時，目前(20130715)桌上型
CPU最強的i7-3970X也只有15MB，所以一般不會遇到這個問題，不過Intel 8核心的
CPU的L3快取就有20MB，超過16MB，所幸只要下載安裝這個Hotfix[
http://goo.gl/bSmKQ]
就可以解決了：
http://goo.gl/pCgYA (圖)
跑完Windows體驗指數的結果：
http://goo.gl/0lJT5 (圖)
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.29.6
1F：推 angeltear15 :$$$$$$$$$$$$$$$$$$$$$$$$$$$ 07/16 00:40
2F：推 cowcowcowcow:朝聖推 07/16 00:44
3F：推 KARASIA :未看先推! 07/16 00:45
4F：推 ASDIGA :竟然還有一個只有7.8!! 07/16 00:49
5F：推 GhostAI :搶到五樓推WWW 07/16 00:53
6F：→ GhostAI :可是我要說 真的好壯觀XDDDDD 07/16 00:53
7F：推 pullmoss :未看先推 07/16 00:56
8F：推 stupidfox :好想切ramdisk來跑Gaussian... 07/16 00:57
9F：推 rick65134 :把"合理"的塑膠盒拉出來 07/16 00:59
已修正,感謝~
10F：推 odanaga :20M是甚麼鬼LOL 07/16 01:02
11F：推 pullmoss :看完再推 這種處理器也只能跑7.8嗎 囧 07/16 01:05
12F：→ pullmoss :那到底要怎樣的處理器才會7.9啊~ 07/16 01:05
13F：推 hangigi :我一直在等這篇>////< 看記憶體插滿滿 比雙CPU吸引我 07/16 01:05
※ 編輯: hotdogee 來自: 140.112.29.6 (07/16 01:11)
14F：推 terry1043 : CL9 Dual-Rank ECC Registered 07/16 01:12
15F：推 qazx11995 :強者必推 還有7.8有點扯 07/16 01:18
16F：推 lovesaber :冒昧問下 這種電腦是來跑什麼用途的 07/16 01:58
大量記憶體主要是要跑次世代基因定序(NGS)的組裝，本系列首篇有說明用途
17F：推 redoot :想看win8體驗...win8分數超難衝的........ 07/16 02:02
18F：→ redoot :win7我16gb就到7.9了 07/16 02:03
19F：推 redoot :我猜cpu分數應該要衝時脈 e3v2 7.7 i5 7.6 07/16 02:10
單核心的效能似乎佔很重
20F：→ OPisgood :CPU要7.9 至少要3930K超到4.5-5G以上吧 07/16 02:28
21F：推 HiddenGuy :推! 07/16 02:29
22F：推 FTICR :推! 為什麼圖形那兩項會7.9啊? 07/16 02:32
因為裡面裝了還算不錯的顯卡，計畫是下篇的開箱主角XD
23F：→ silver2012 :一直覺得金士頓的包裝很像巧克力盒 07/16 02:40
24F：推 windwind :辛酸血淚CD-R推廣小姐 07/16 02:55
25F：→ windwind :推錯.. GG 07/16 02:55
※ 編輯: hotdogee 來自: 140.112.29.6 (07/16 03:06)
26F：推 rick65134 :金士頓的包裝超讚 內外盒都可以重複使用 創見就不行 07/16 03:17
27F：推 abc0922001 :好多XD 07/16 03:49
28F：推 amALu :朝聖 有點猛@@ 07/16 06:58
29F：推 s25g5d4 :推 07/16 06:59
30F：推 flamedevil :好討厭的疊疊樂 , 可惡沒錢 07/16 07:10
31F：推 GW40112 :可惡 沒＄ 07/16 08:35
32F：推 InfinitySA :看了一下系列文 原po真強 這種等級我大概要中威力彩 07/16 08:44
33F：→ InfinitySA :頭獎才有能力買 XDD 07/16 08:44
34F：→ InfinitySA :爽度突破天際了 07/16 08:45
35F：推 oginome :朝聖大推，記憶體插滿好壯觀啊～ 07/16 08:55
36F：推 WeAntiTVBS :現行創見的包裝只要用對方法也是可以重複使用 07/16 09:06
37F：推 gilberthsu :朝聖推，本身也在作NGS的研究，記憶體不足真的很痛苦 07/16 09:54
38F：→ gilberthsu :另外建議考量一下畢業後是否有人能夠維護0.0 07/16 09:56
39F：→ y3k :原來RAM錯誤率還滿高的.. 07/16 10:35
40F：推 dogee :朝聖~ 07/16 10:45
41F：推 chilama :有錢真好!! 07/16 11:48
42F：推 brandvolley :CPU竟然 是7.8... 07/16 11:56
43F：→ StarHero :小金的包裝有個好處 會把顆粒寫出來 07/16 11:58
44F：推 notgoodcow :好恐怖 沒看過那麼多的記憶體裝在一塊板子上 07/16 12:29
45F：推 et54987 :只能說原PO真的猛 我上次自己搞那台 根本沒時間拍照. 07/16 12:36
46F：推 ICEFTP :推 07/16 12:41
48F：推 michaelchen1:太屌了來朝聖一下 07/16 12:45
49F：推 itomasato :朝聖阿... 只有一個7.8...m- -m 07/16 14:46
50F：推 vespapapa :靠!疊到天邊! 07/16 15:15
51F：推 ckgegg :有神快拜 <(_ _)> 07/16 15:55
52F：推 pirrysal :出到五了，推 07/16 17:31
53F：推 korsg :這記憶體強度 OVER 9000!!! 07/16 20:05
54F：推 loking :這紅色盒子疊疊樂好像喜餅阿 07/16 21:42
55F：推 skyclam :其實有在server廠工作的，這都算小case..XD 07/17 00:29
56F：→ StarHero :再來就要蓋發電廠了 07/17 01:40
57F：推 towe77 :好可怕的一台... 07/17 02:41
58F：推 QuentinHu :這個bug ..... 一般根本不可能知道阿 !!! 07/18 12:19
59F：→ hotdogee :那個hotfix太冷門，網頁上還不能直接抓， 07/18 13:08
60F：→ hotdogee :填資料後，微軟才會把hotfix用email寄給你 07/18 13:08