作者maplefff (鳄鱼嘎力攻击)
看板Linux
标题[问题] Raid-5炸掉和合理Raid组磁碟数量分配问题
时间Thu Aug 15 19:15:51 2019
Hi, 各位Linux前辈请多多指点小弟
事情是这样，今天早上我确认Raid-5磁碟阵列出现三颗异常便着急更换
操作过程有一些misunderstand和不谨慎，也没有确认Spare Disk的情况
到底是本来就不可能了，还是我脑残造成的，已经不可考。
总之，重建失败，Raid Fail, 资料爸爸、资料妈妈、资料阿公、资料弟弟
祖孙上下三代400TB已经一起上路。
我己经准备提头跟老板解释。
七月的台湾，真的好冷。
-------
木已成舟，重组Raid已经是既定事项，我现在只能想办法不要重蹈覆侧。
我查询了网路上的一些说法，Raid-5既然只能损毁一颗硬碟
所以有经验的管理者，都会控制整个Raid组合理的磁碟数量上限
避免重建过程又发生磁碟故障的机率上升
目前接到我手上的Raid组合是4TB*180颗作Raid-5，其中约包含6颗Spare disk
这样的组合数量是否合理(目前该机器已届保固期，磁碟故障的状况已开始较常发生）
我查询网路上，大多是家用级NAS的讨论。商用级storage或SAN的讨论比较少。
可以麻烦有经手过商用级SAN的前辈指点个大概概念和经验吗？
我目前是希望重做之後打散成3组Raid-5或6，每组再附加2~3颗Hot Spare.
避免再发生组内多颗硬碟同时接近寿终。
有点伸手，这里先跟各位诚恳致歉，如果有前辈愿意指点，我真的很感谢
明天就要上刑场了.., 目前四处都在整理资料中。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 117.19.132.216 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Linux/M.1565867759.A.933.html
1F：推 Hurricaneger: raid10或01就好，要速度请加ssd做快取。资料不要只 08/15 19:25
2F：→ Hurricaneger: 有一份，最好是两地异地备援（不要备在自己家里）。 08/15 19:25
3F：→ Hurricaneger: rebuild都要看运气啦。 08/15 19:25
4F：→ Hurricaneger: 这东西很玄学 08/15 19:27
我在研究一下手上的机器可不可能做SSD快取方案，毕竟有点旧了
至於异地备援，这真的就不是我能决定的了，毕竟一台含硬碟动辄50~100万以上
5F：推 a1u1usul3: 该用raidz3，超过12颗就该用更厉害的做法。180颗硬碟只 08/15 19:29
6F：→ a1u1usul3: 规划raid5....帮拍拍 08/15 19:29
7F：推 a1u1usul3: hadoopfs会duplicate三份，raidz不论是1还是2还是3都du 08/15 19:36
8F：→ a1u1usul3: plicate不到两份。可能不能直接拿来比较，但是重要的资 08/15 19:36
9F：→ a1u1usul3: 料duplicate不到两份真的说的过去吗？ 08/15 19:36
10F：→ a1u1usul3: 没有异地备援，今天是硬碟坏了，明天如果天灾人祸火灾 08/15 19:37
11F：→ a1u1usul3: 或漏水，这些资料一样都消失了 08/15 19:37
12F：→ a1u1usul3: 乱讲了一些，再帮你拍拍一次。我觉得一开始的规划就非 08/15 19:40
13F：→ a1u1usul3: 常有问题，希望对你有帮助 08/15 19:40
zfs档案系统倒真的没有经验，我再研究有没有相容性的问题
另外方便请教m大, raidz1 ,2, 3，是否理论上容许1,2,3颗损坏吗？
14F：推 a1u1usul3: 理论上是吧。raid的rebuild也有个问题，通常一组raid的 08/15 19:59
15F：→ a1u1usul3: 硬碟都是同时买的，寿命、品质可能也很接近，rebuild过 08/15 19:59
16F：→ a1u1usul3: 程中也很有可能途中再挂一颗两颗 08/15 19:59
17F：→ a1u1usul3: 其实单台180颗已经远超乎我的想像了，我也不是储存装置 08/15 20:03
18F：→ a1u1usul3: 的专家，我只是知道这个数量绝对不可能用raid5........ 08/15 20:03
19F：→ a1u1usul3: 如果你自己无法评估，建议你找专业厂商去帮你们评估 08/15 20:03
20F：推 a1u1usul3: 其实我回覆的第一句话被ptt吃了，原本是说 08/15 20:09
21F：→ a1u1usul3: 内可以考虑用raidz1，6～12颗考虑用raidz2，12颗以上考 08/15 20:09
22F：→ a1u1usul3: 虑用raidz3。 08/15 20:10
23F：→ a1u1usul3: 可是180颗只用raidz3真的够吗？我也不知道 08/15 20:10
24F：推 a1u1usul3: 好像不能贴连结....reddit上面有讨论，五颗以内可以考 08/15 20:14
25F：→ a1u1usul3: 虑 raidz1 08/15 20:15
26F：→ maplefff: 好的,a大(更正），我再把高阶Raid跟单一Raid组规模加入 08/15 20:48
27F：→ maplefff: 跟Boss的讨论里。 08/15 20:48
28F：推 soem: 还有一点就是RAID并不是备份，如果资料真的重要还是要有备份 08/15 21:08
目前该storage的用途，据我的了解是分布式网格的本地资料快取
还有本地使用者计算或模拟结果，资料算是重要但不到不可回复
毕竟Lost掉，表示之前用的CPU时间跟电都浪费掉..., 如果要用到就要重跑。
29F：推 Hurricaneger: 商用几乎不会有4TB×180颗的解。 08/15 21:49
30F：→ Hurricaneger: 你是一次抽三颗还是一颗一颗换？ 08/15 21:50
短时间内接连换三颗，我想比较接近一次抽三颗
我想原因是一时脑残以为Hot spare已经替换好
31F：推 kdjf: 最近一次ptt大爆炸也是raid rebuild时又坏了两颗... 08/15 22:01
32F：→ mirc: 你知道SATA有多容易坏吗？Raid5坏一颗在rebuild时你的Raid没 08/15 22:42
33F：→ mirc: 有保护，所以建议raid5 9D(data)+1P(Parity)分成17个raid， 08/15 22:43
34F：→ mirc: 商用的可以再将17个Raid加总起来，其他的做Spare 08/15 22:44
35F：→ mirc: 当你越多D+1P，风险越高，所以180颗做一个Raid那根本是找死 08/15 22:45
36F：→ mirc: 这麽多颗硬碟你需要的是商用的储存设备，否则你可以常常要 08/15 22:46
37F：→ mirc: 掉资料，常常被老板念到死，甚至工作不保> 08/15 22:46
38F：推 lspci: 改成raid6做一个LUN 所有的LUN再去组LVM 记得留足够的hot s 08/15 22:52
39F：→ lspci: pare disk 08/15 22:52
感觉m大,l大回覆，这里冒昧先跟两位厘清术语问题（真的是新手
两位的意思是n个disk做Raid-5,6形成一个逻辑设备，然後加入VG再分割成LVM卷对吧？
那如果其中一个Raid5,6掉了，是只有某个LVM卷会受到影响
还是说整个VG都会受到影响呢？
因为我目前应用上，可能不需要很大一块卷宗，180块分成10块卷，分别Mount其实也是
可行。那我目前考虑如果I/O速度能接受, 可能不需要在做VG合并raid逻辑设备。
40F：推 soem: 看你各个mount point资料总和大小是不是均匀的，我想180颗 08/16 00:36
41F：→ soem: disk的架构，切开来的好处(可用性、分散存取效能)肯定是比较 08/16 00:37
42F：→ soem: 好。那当然如果有特定mount point的资料是热区就要另外规划 08/16 00:37
s大的意思，就是对某个LVM卷写入是会分散到VG中各个raid逻辑设备对吧？
如果是这样，那我应该会尽量向Boss推荐, 未来采用每个raid逻辑设备分开Mount的结构。
一个mount点40TB左右，11个磁碟近1GB/s的I/O读写，应当满足当前需求了。
※ 编辑: maplefff (49.214.148.225 台湾), 08/16/2019 01:12:11
43F：推 kenwufederer: 用那麽多硬碟，看不懂… 08/16 10:41
44F：推 chang0206: 你需求报出去 自然会有厂商帮你规划好.. 08/16 13:33
45F：→ chang0206: 你要自己土炮一个接近200颗硬碟的storage ? 08/16 13:33
46F：推 after1: 楼上说的有理 但原PO连50到100万都要考虑再三了 我看问 08/19 00:46
47F：→ after1: 题不在谁来规划了 08/19 00:46
48F：推 chang0206: 可是4T 200颗就80了耶 预算才50-100 ?? 08/19 09:40
这个我想有历史因素，预算都是一期一期的，
可能当时有拿到几百万、一千万就把他建起来
现在建好就比较难，随便说要拿出一百万来改善已经有的东西。
尤其是这个状况很突然，要找厂商规划一、两百万的东西，也是要走流程标出去
远水救不了近火啊...。
※ 编辑: maplefff (49.216.20.18 台湾), 08/19/2019 11:13:20
49F：→ chang0206: 那就要看你现在用的是什麽机器了 应该不只一台吧？ 08/19 13:40
50F：→ chang0206: 要自己来 看你要考虑安全性还是要容量优先 08/19 13:40
51F：推 chang0206: 看现在的用量有多少 成长率大概多少 然後下去算有多少 08/19 13:43
52F：→ chang0206: 空间可以容错 自己来真的很搞刚啦... 08/19 13:43
53F：→ chang0206: 现在很多分散式档案系统可以选择 可是一来是後续支援 08/19 13:48
54F：→ chang0206: 维护、一者是还要加强你的网路(也许不用？) 08/19 13:49
55F：→ chang0206: 哪天你火掉你老板了 剩下的摊子谁来收？ 08/19 13:50
56F：推 lspci: 老实说 学校里面因种种因素只能DIY 那就承受DIY的品质与风 08/19 19:16
57F：→ lspci: 险 很公平 08/19 19:16
58F：推 yvb: wiki:RAID -> 看看 RAID 50, RAID 60 那边. 08/22 21:38
59F：→ yvb: 180个HDs 作成一个 RAID5 而不是 RAID50 RAID60 真不可思议. 08/22 21:39
60F：推 Hurricaneger: 因为raid卡吃raid50可能也是很贵吧？ 08/23 16:48
61F：→ chang0206: 我觉得原PO应该也没有用raid controller 08/23 17:17
62F：→ newversion: 180颗........ 在悬崖边表演走钢丝? 09/06 19:17