作者Cubelia (大胸智乃)
看板Storage_Zone
標題Re: [請益] 100T左右的檔案下載並轉交(外接盒/Nas)
時間Tue Jan 30 04:28:25 2024
※ 引述《imbeginner (萬年初心者)》之銘言：
: 各位版友大家好
: 我有把檔案下載下來轉交給其他人的需求
: (因為對方不方便使用網路）
: 檔案在一個雲端上約100TB，打算用桌面版的程式一次全載下來，所以需要一個夠大的硬碟
: 原本有考慮外接吐司盒，插滿20TB做使用；但爬文發現吐司盒的安全性好像不太好
: 所以把念頭動到多插槽的nas上，只是我沒有用過nas，不曉得它能否當超大號隨身碟來做使用呢？
: 希望版友可以給我解答，非常感謝！
: -----
: Sent from JPTT on my Xiaomi M2007J3SG.
這麼大筆的資料量和需要的硬碟數不太可能仰賴傻瓜式RAID外接盒
想必也對資料完整性要求性很高，WIN平台+NTFS組RAID不太合適
家用還是得 mdadm+檔案系統(軟體層土炮) 或 整套ZFS
撇開主機自組，除非會玩Linux+會軟體層土炮，否則請買品牌NAS
ZFS請指名TrueNAS，這比單純軟體層土炮要簡單很多了
(Q也有跑ZFS的品牌NAS)
陣列怎麼組:
1.起碼也要使用兩顆冗餘的RAID6/RAID-Z2
常見NAS硬碟槽最高8個至少要買20T硬碟
此時20*6=120T；換算實際可用約109TiB
2.保險一點要求三顆冗餘，只能選ZFS RAID-Z3
8個硬碟槽維持實際可用至少100TiB就要買22T硬碟
不過這已經剛好裝滿了，ㄍㄧㄥ那麼緊不太實際(影響性能)
搞得到24T硬碟就能維持只用8個硬碟槽，同時保有109TiB的實際可用
3.更保險一點(多個陣列組存儲池)、更多可用容量就是預算無上限的範疇了
接著是網速問題，假如牽500M(理論值62.5MB/s)的網速
也假設這些一路暢通可不間斷維持這速度
100TiB=100*1024GB
102400*1024MB=104857600MB
104857600/62.5=1677721.6秒=466小時=19.4天
如果牽500M光是將資料拉回來至少要不間斷跑19天半
唯一選擇硬碟+陣列+整台NAS一起配好
直接在NAS+磁碟陣列上設定把資料拉回來(記得配UPS)，再人力將整套送去目的地
不然硬碟寄過去NAS品牌不合又得想辦法整理資料，超級大工程
除了時間就是金錢以外也增加轉移時操作失誤的可能性
當然你家那台NAS和他家那台NAS品牌有相容那是最好
如果是用ZFS那就輸出存儲池再寄硬碟於目的地主機輸入存儲池
TrueNAS有內建這功能，可以簡單辦到
其它土炮主機怎麼組、續傳下載、維護NAS和搞備份又是另外一回事
大概是醬，到時候有成功案例可以請大大分享看看XD
--
姊姊 姊姊 我們好像變成簽名檔了
雷姆 雷姆 好像真的是這麼一回事呢
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.173.160.3 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Storage_Zone/M.1706560110.A.D9B.html
1F：推 selfhu : 小檔會更慢，19天真的只是預估 01/30 04:50
這麼長的時間真的耗一次就好XD
※ 編輯: Cubelia (1.173.160.3 臺灣), 01/30/2024 07:20:17
2F：推 fmp1234 : 100TB不分割心臟很大顆XD 01/30 07:55
3F：推 ericpttt : 推薦用TrueNAS 的 replication ，記得ram要給多一點 01/30 11:04
4F：推 hzaxcp386 : 220T那絕對會被判定是濫用，難怪被砍 01/31 12:02
5F：推 maniaque : 雲端? 100TB ?? 100TB ?? 02/03 21:39
6F：→ maniaque : 那已經不是一個夠大的外接硬碟可以處理了 02/03 21:39
7F：→ maniaque : 假如足 100TB ,至少也要6顆20TB 硬碟 02/03 21:41
8F：→ maniaque : 5顆100TB ,但切檔會大於吧 02/03 21:42
9F：→ maniaque : 乖乖用 6Bay or 8Bay NAS 吧,拉完整台交給對方 02/03 21:42
10F：→ maniaque : 不知道有誰會一次開 100TB 檔案.....資料庫或圖庫吧 02/03 21:44
11F：→ maniaque : 整個砍下來抓時間也要 1個月(19天太樂觀了....) 02/03 21:45
12F：推 smallreader : 有沒有一種可能 直接跟谷歌買那100T的複本 02/04 23:12
13F：→ addbear22 : 傳說中的磁帶機可行嗎? 02/05 11:22
14F：推 maniaque : 樓上....磁帶機應該不可能直接雲端傳到磁帶機上 02/06 15:15
15F：→ maniaque : 所以還是得有個硬碟組去存 02/06 15:16
16F：→ hangtenboy : 沒有另外實體的備份也太大心臟了 02/13 10:17