作者chang0206 (Eric Chang)
看板Storage_Zone
标题[讨论] 最近挂了一票储存装置....
时间Mon May 6 11:11:22 2019
这篇应该算是抱怨兼闲聊吧...
一年多前到目前任职的公司时,前人留下了一批segate 2T 硬碟(ST2000DM006)
数量大概有四五十颗左右,采购时间在2016年,所以都还在保固内
这一年多来,陆陆续续的把这些硬碟用了一大半出去,库存大概剩下十颗左右
可是就在最近这两个月,开始收到系统寄出的smart警告
一开始是几个月前群晖的NAS发出的,但不管怎麽换硬碟,那台NAS就是一直出现警告
所以我认为是NAS机器的问题,而不是硬碟有状况
事实上也是如此,然後报群晖维修,就报了一万七千多的天价...机器也才买两万多块
当然是决定不修了,也开始着手自建NAS(FreeNAS),准备换掉手边的其他三台群晖NAS
手边有很多ASUS tower server,想说都要自己来做了
那就直接装满六颗硬碟,然後把系统灌在随身碟上
就这样做了五六台出来,陆续上线,其中包括一台10G的配置
可是上线没多久,就在群晖NAS出问题之後
这些server也都开始发出信件警告SMART有问题
不过奇怪的是,有些是直接就找不到硬碟,有的是警告C5/197/198 > 0
上礼拜跟同事盘点了一下,合计有8颗硬碟出现SMART警告,这比例也太高了吧!
总共算用了50颗硬碟好了,就有8颗出现异常,那就是16%的故障比例
这应该不能算是人品不好了...
由於我很坚持我人品没有问题(误
所以我做了几个测试,我拿一台一样的Server,只装四颗硬碟上线做一样的事
只是RAID等级不同,前面装六颗的都是RAID10
这次装四颗的,我都跑RAID5
测了一个多月下来,发现同时装机的三台机器,只有装四颗硬碟的这台没有错误
其他两台都各有一颗出现异常
嗯哼,看来问题不只是硬碟,连Server也有问题,难道是电力不够?
既然有这个疑问,当然我们就要继续实验下去
於是我改用了「据说」比较省电的SSD (其实SSD有没有比较省电似乎众说纷纭?)
用ADATA 的SU650 480G SSD六颗,一样做RAID10,然後这台做成10G的环境
把虚拟机的备份多做一份到这台来,所以这台基本上是平常都闲置
只有在半夜会频繁写入一个小时左右
没想到这样子的测试,不到两个礼拜,就挂了一颗SSD,而且死得很彻底
连SMART都还没发现错误(我每天有排smart short test,每周跑一次long test)
直接就在系统内消失,重开机之後发现连BIOS都看不到了...
拆下来送修之後,先用手边备用的创见512G SSD顶上去
不过呢,接下来又有两颗出现SMART C5/197/198 > 0 的情况
所以现在是raid degrade 然後又有两颗出现SMART异常的状态
(好孩子不要学,大叔心脏够大颗才这样玩...)
可是这样子没办法验证前面怀疑是因为电力不足所造成的问题
我也没有设备可以定时抓电力使用状况
看样子需要其他方法来确认到底是因为主机供电不足造成硬碟错误
还是真的单纯就是硬碟有问题
不晓得各位有什麽建议吗?
总之呢,这两个月来就是这样每天收到各地机器寄来的SMART警告信件
https://i.imgur.com/CNEsHKl.png
然後被助理小姐念说怎麽那麽多硬碟要报修
小姐,我也不愿意啊...而且这批硬碟还都不是我买的耶...
看来下一次如果还要大量采购硬碟,要尽量避免只买同一个型号
只是通常这样会被采购念就是了...
好,碎念完毕,继续去机房拆硬碟....
ASUS Server还没hot swap,真的是有够OOXX ...
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 103.78.122.61
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Storage_Zone/M.1557112284.A.970.html
1F:推 waakye : 全部同一批 当然一起挂的机率高 05/06 11:25
2F:→ waakye : 然後又是死鸡 05/06 11:26
3F:推 x20165 : power 要不要测试一下 05/06 11:53
4F:→ spfy : 有可能 如果刚好买了一大批DM001就会尿裤子了 05/06 12:00
5F:→ chang0206 : 请问power要怎麽测试?不用电力勾表去量的话 05/06 12:03
6F:推 casko : bios里可以看到电压吧 05/06 12:24
7F:推 greg7575 : 贵司电压不稳啊。没AVR 吗 05/06 12:38
8F:→ hua780830 : 这种机率跟时间,贵公司的电或主机本身的电源似乎得 05/06 12:49
9F:→ hua780830 : 看看 05/06 12:49
10F:推 greg7575 : 而且如果你的 NAS 电跟有压缩机的共用电 05/06 12:55
11F:→ greg7575 : 那你的 NAS 绝对死很快。检查一下用电吧 05/06 12:55
12F:推 nightwind209: 有几个点可以看说 一个是硬碟本身 一个是供电 一个 05/06 13:04
13F:→ nightwind209: 是server内建的RAID问题(?) 05/06 13:04
14F:推 birdy590 : 传统硬碟的可靠性本来就很低, 什麽状况都不奇怪 05/06 14:09
15F:推 tomsawyer : 没hot swap 你484要过劳死了 05/06 15:09
16F:→ chang0206 : 这些机器都有接UPS唷.. 翻了一下google想说找看看 05/06 15:47
17F:→ chang0206 : 可以看power状态的指令,结果啥资讯都没有.. 05/06 15:47
18F:→ andy05 : 都用NAS了,怎麽不是用NAS碟? 05/06 15:47
20F:推 waynechen251: 既然都公司采购 下次就买好一点的nas碟呗 资料无价 05/06 15:54
21F:→ chang0206 : 下一批我应该就直接全部用SSD了.. 05/06 15:57
22F:推 tomsawyer : 用廉价ssd有比较好吗Orz 不如全上545s/mx500 05/06 15:59
23F:→ litwild : 最近我2013/03 买的hitachi/toshiba 2T 陆续坏轨了 05/06 16:01
24F:推 iraqolddad : 不会吧 我还有四颗3T的toshiba/hitachi在服役.... 05/06 16:28
25F:→ iraqolddad : 我本来还想撑到大容量SSD降价... 05/06 16:29
26F:→ chang0206 : 嗯,下一批的确是考虑545或mx500 05/06 16:44
27F:推 greg7575 : ups 也不见得每台都是在线式的。多确定电的问题 05/06 17:21
28F:→ chang0206 : 可是电的问题在linux底下有什麽方法可以看? 05/06 17:59
29F:推 hentaiojisan: 这硬碟定位是desktop,非Nas/enterprise,就别拿去 05/06 18:22
30F:→ hentaiojisan: 作磁碟阵列了 05/06 18:22
31F:推 waterblue85 : SU650也是先跳过再说 用 WD蓝标稳多了 05/06 18:30
32F:推 delaluna : 545或mx500也没多高级 企业RAID就直上Intel DC系列 05/06 18:41
33F:推 nissptt : 在线又稳压的才能改善电源品质,看是不是g大说的, 05/06 21:27
34F:→ nissptt : 是不是和压缩机共线了 05/06 21:27
35F:→ tomsawyer : dc系列贵的要死要死 不如freenas配nas碟+ssd做快取 05/06 21:33
36F:→ tomsawyer : 如果有稳压avr应该是还好啦lul 05/06 21:34
37F:推 toodoo : 可以安装 lm-sensors 套件, 他可以侦测温度/电压/ 05/06 21:35
38F:→ toodoo : 风扇, 不过前提是主机板有内建相关的sensor 05/06 21:36
39F:推 balius : DC系列就是物有所值,如果不需要那个品质自然不用付 05/07 08:04
40F:→ balius : 出这样的预算 05/07 08:04
41F:推 andy199113 : 检查大型UPS健康状况 05/07 08:39
42F:推 pika9898 : 民用等级ssd 一般不是死颗粒都是死主控比较多 05/07 09:29
43F:→ chang0206 : 1. UPS确定是在线式 有没有跟压缩机共用?没有 05/07 11:10
44F:→ chang0206 : 2.硬碟当初采购时(2016),可能还没有NAS碟? 05/07 11:11
45F:→ chang0206 : 手边也就这些可以用,所以也只能继续上 05/07 11:11
46F:→ chang0206 : lm-sensors有装过,但是asus 这台server不提供那些 05/07 11:12
47F:→ chang0206 : 资讯。 05/07 11:12
48F:→ chang0206 : 4.UPS每年都有签MA来检查状况 不过我看不懂就是 05/07 11:13
49F:→ chang0206 : 反正工程师说OK 05/07 11:14
50F:→ chang0206 : 现在会倾向降低硬碟数量 改作raid5来暂时应付着用 05/07 11:14
51F:→ chang0206 : 等下一批直上SSD,电力问题就真的不知道怎麽解 05/07 11:15
52F:→ chang0206 : 我进BIOS去看,电压输出也没有降低,没办法有数据 05/07 11:15
53F:→ chang0206 : 可以证明是电力的问题 05/07 11:16
54F:→ chris1281 : 2016已经有NAS碟了哦! 05/07 12:41
55F:推 sma1033 : 便宜的硬碟还是有麻烦的地方,不想找麻烦还是买好的 05/07 13:15
56F:推 Nexus5X : 全部差不多时间寿终正寝的机率超低 05/07 17:15
57F:→ tomsawyer : nas很早就有了 我5-6年前买st2000vn001*4 全挂lul 05/07 18:03
58F:→ s860355 : sata线跟主机内温度对流状况也可注意 05/08 01:25
59F:→ chang0206 : sata线我有全部换新,机壳内温度我就没注意了 05/08 11:50
60F:推 nemea007 : 可以在输入电源,挂个欠逆相保护器,有侦测过电压和 05/11 21:50
61F:→ nemea007 : 低电压的,如 ANLY 的 AVER 型号 05/11 21:50