作者chang0206 (Eric Chang)
看板Storage_Zone
標題[討論] 最近掛了一票儲存裝置....
時間Mon May 6 11:11:22 2019
這篇應該算是抱怨兼閒聊吧...
一年多前到目前任職的公司時,前人留下了一批segate 2T 硬碟(ST2000DM006)
數量大概有四五十顆左右,採購時間在2016年,所以都還在保固內
這一年多來,陸陸續續的把這些硬碟用了一大半出去,庫存大概剩下十顆左右
可是就在最近這兩個月,開始收到系統寄出的smart警告
一開始是幾個月前群暉的NAS發出的,但不管怎麼換硬碟,那台NAS就是一直出現警告
所以我認為是NAS機器的問題,而不是硬碟有狀況
事實上也是如此,然後報群暉維修,就報了一萬七千多的天價...機器也才買兩萬多塊
當然是決定不修了,也開始著手自建NAS(FreeNAS),準備換掉手邊的其他三台群暉NAS
手邊有很多ASUS tower server,想說都要自己來做了
那就直接裝滿六顆硬碟,然後把系統灌在隨身碟上
就這樣做了五六台出來,陸續上線,其中包括一台10G的配置
可是上線沒多久,就在群暉NAS出問題之後
這些server也都開始發出信件警告SMART有問題
不過奇怪的是,有些是直接就找不到硬碟,有的是警告C5/197/198 > 0
上禮拜跟同事盤點了一下,合計有8顆硬碟出現SMART警告,這比例也太高了吧!
總共算用了50顆硬碟好了,就有8顆出現異常,那就是16%的故障比例
這應該不能算是人品不好了...
由於我很堅持我人品沒有問題(誤
所以我做了幾個測試,我拿一台一樣的Server,只裝四顆硬碟上線做一樣的事
只是RAID等級不同,前面裝六顆的都是RAID10
這次裝四顆的,我都跑RAID5
測了一個多月下來,發現同時裝機的三台機器,只有裝四顆硬碟的這台沒有錯誤
其他兩台都各有一顆出現異常
嗯哼,看來問題不只是硬碟,連Server也有問題,難道是電力不夠?
既然有這個疑問,當然我們就要繼續實驗下去
於是我改用了「據說」比較省電的SSD (其實SSD有沒有比較省電似乎眾說紛紜?)
用ADATA 的SU650 480G SSD六顆,一樣做RAID10,然後這台做成10G的環境
把虛擬機的備份多做一份到這台來,所以這台基本上是平常都閒置
只有在半夜會頻繁寫入一個小時左右
沒想到這樣子的測試,不到兩個禮拜,就掛了一顆SSD,而且死得很徹底
連SMART都還沒發現錯誤(我每天有排smart short test,每週跑一次long test)
直接就在系統內消失,重開機之後發現連BIOS都看不到了...
拆下來送修之後,先用手邊備用的創見512G SSD頂上去
不過呢,接下來又有兩顆出現SMART C5/197/198 > 0 的情況
所以現在是raid degrade 然後又有兩顆出現SMART異常的狀態
(好孩子不要學,大叔心臟夠大顆才這樣玩...)
可是這樣子沒辦法驗證前面懷疑是因為電力不足所造成的問題
我也沒有設備可以定時抓電力使用狀況
看樣子需要其他方法來確認到底是因為主機供電不足造成硬碟錯誤
還是真的單純就是硬碟有問題
不曉得各位有什麼建議嗎?
總之呢,這兩個月來就是這樣每天收到各地機器寄來的SMART警告信件
https://i.imgur.com/CNEsHKl.png
然後被助理小姐念說怎麼那麼多硬碟要報修
小姐,我也不願意啊...而且這批硬碟還都不是我買的耶...
看來下一次如果還要大量採購硬碟,要盡量避免只買同一個型號
只是通常這樣會被採購念就是了...
好,碎念完畢,繼續去機房拆硬碟....
ASUS Server還沒hot swap,真的是有夠OOXX ...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 103.78.122.61
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Storage_Zone/M.1557112284.A.970.html
1F:推 waakye : 全部同一批 當然一起掛的機率高 05/06 11:25
2F:→ waakye : 然後又是死雞 05/06 11:26
3F:推 x20165 : power 要不要測試一下 05/06 11:53
4F:→ spfy : 有可能 如果剛好買了一大批DM001就會尿褲子了 05/06 12:00
5F:→ chang0206 : 請問power要怎麼測試?不用電力勾表去量的話 05/06 12:03
6F:推 casko : bios裡可以看到電壓吧 05/06 12:24
7F:推 greg7575 : 貴司電壓不穩啊。沒AVR 嗎 05/06 12:38
8F:→ hua780830 : 這種機率跟時間,貴公司的電或主機本身的電源似乎得 05/06 12:49
9F:→ hua780830 : 看看 05/06 12:49
10F:推 greg7575 : 而且如果你的 NAS 電跟有壓縮機的共用電 05/06 12:55
11F:→ greg7575 : 那你的 NAS 絕對死很快。檢查一下用電吧 05/06 12:55
12F:推 nightwind209: 有幾個點可以看說 一個是硬碟本身 一個是供電 一個 05/06 13:04
13F:→ nightwind209: 是server內建的RAID問題(?) 05/06 13:04
14F:推 birdy590 : 傳統硬碟的可靠性本來就很低, 什麼狀況都不奇怪 05/06 14:09
15F:推 tomsawyer : 沒hot swap 你484要過勞死了 05/06 15:09
16F:→ chang0206 : 這些機器都有接UPS唷.. 翻了一下google想說找看看 05/06 15:47
17F:→ chang0206 : 可以看power狀態的指令,結果啥資訊都沒有.. 05/06 15:47
18F:→ andy05 : 都用NAS了,怎麼不是用NAS碟? 05/06 15:47
20F:推 waynechen251: 既然都公司採購 下次就買好一點的nas碟唄 資料無價 05/06 15:54
21F:→ chang0206 : 下一批我應該就直接全部用SSD了.. 05/06 15:57
22F:推 tomsawyer : 用廉價ssd有比較好嗎Orz 不如全上545s/mx500 05/06 15:59
23F:→ litwild : 最近我2013/03 買的hitachi/toshiba 2T 陸續壞軌了 05/06 16:01
24F:推 iraqolddad : 不會吧 我還有四顆3T的toshiba/hitachi在服役.... 05/06 16:28
25F:→ iraqolddad : 我本來還想撐到大容量SSD降價... 05/06 16:29
26F:→ chang0206 : 嗯,下一批的確是考慮545或mx500 05/06 16:44
27F:推 greg7575 : ups 也不見得每台都是在線式的。多確定電的問題 05/06 17:21
28F:→ chang0206 : 可是電的問題在linux底下有什麼方法可以看? 05/06 17:59
29F:推 hentaiojisan: 這硬碟定位是desktop,非Nas/enterprise,就別拿去 05/06 18:22
30F:→ hentaiojisan: 作磁碟陣列了 05/06 18:22
31F:推 waterblue85 : SU650也是先跳過再說 用 WD藍標穩多了 05/06 18:30
32F:推 delaluna : 545或mx500也沒多高級 企業RAID就直上Intel DC系列 05/06 18:41
33F:推 nissptt : 在線又穩壓的才能改善電源品質,看是不是g大說的, 05/06 21:27
34F:→ nissptt : 是不是和壓縮機共線了 05/06 21:27
35F:→ tomsawyer : dc系列貴的要死要死 不如freenas配nas碟+ssd做快取 05/06 21:33
36F:→ tomsawyer : 如果有穩壓avr應該是還好啦lul 05/06 21:34
37F:推 toodoo : 可以安裝 lm-sensors 套件, 他可以偵測溫度/電壓/ 05/06 21:35
38F:→ toodoo : 風扇, 不過前提是主機板有內建相關的sensor 05/06 21:36
39F:推 balius : DC系列就是物有所值,如果不需要那個品質自然不用付 05/07 08:04
40F:→ balius : 出這樣的預算 05/07 08:04
41F:推 andy199113 : 檢查大型UPS健康狀況 05/07 08:39
42F:推 pika9898 : 民用等級ssd 一般不是死顆粒都是死主控比較多 05/07 09:29
43F:→ chang0206 : 1. UPS確定是在線式 有沒有跟壓縮機共用?沒有 05/07 11:10
44F:→ chang0206 : 2.硬碟當初採購時(2016),可能還沒有NAS碟? 05/07 11:11
45F:→ chang0206 : 手邊也就這些可以用,所以也只能繼續上 05/07 11:11
46F:→ chang0206 : lm-sensors有裝過,但是asus 這台server不提供那些 05/07 11:12
47F:→ chang0206 : 資訊。 05/07 11:12
48F:→ chang0206 : 4.UPS每年都有簽MA來檢查狀況 不過我看不懂就是 05/07 11:13
49F:→ chang0206 : 反正工程師說OK 05/07 11:14
50F:→ chang0206 : 現在會傾向降低硬碟數量 改作raid5來暫時應付著用 05/07 11:14
51F:→ chang0206 : 等下一批直上SSD,電力問題就真的不知道怎麼解 05/07 11:15
52F:→ chang0206 : 我進BIOS去看,電壓輸出也沒有降低,沒辦法有數據 05/07 11:15
53F:→ chang0206 : 可以證明是電力的問題 05/07 11:16
54F:→ chris1281 : 2016已經有NAS碟了哦! 05/07 12:41
55F:推 sma1033 : 便宜的硬碟還是有麻煩的地方,不想找麻煩還是買好的 05/07 13:15
56F:推 Nexus5X : 全部差不多時間壽終正寢的機率超低 05/07 17:15
57F:→ tomsawyer : nas很早就有了 我5-6年前買st2000vn001*4 全掛lul 05/07 18:03
58F:→ s860355 : sata線跟主機內溫度對流狀況也可注意 05/08 01:25
59F:→ chang0206 : sata線我有全部換新,機殼內溫度我就沒注意了 05/08 11:50
60F:推 nemea007 : 可以在輸入電源,掛個欠逆相保護器,有偵測過電壓和 05/11 21:50
61F:→ nemea007 : 低電壓的,如 ANLY 的 AVER 型號 05/11 21:50