作者alicekey (誰不喜歡美女！)
看板EZsoft
標題Fw: [請問] 請推薦大量檔案備份工具(汰舊server用)
時間Wed Feb 5 12:25:41 2014
※ [本文轉錄自 alicekey 信箱]
作者: sunez (風和日麗的理智) 看板: EZsoft
標題: [請問] 請推薦大量檔案備份工具(汰舊server用)
時間: Sat Feb 1 12:44:12 2014
事情是這樣的
Lab有一台很老的機器上面掛了很多老師的計畫網站
(作業系統是Win server 2003，硬體規格不算差...但
記憶體只有1GB)
今年採購了新的機器想要更換掉原本這台
拿一台全新的NAS來備份上面的所有資料
如果只是一台server就算了
但這台server掛載了三台磁碟陣列(total資料量約
45TB)
上面有一些大家share的東西
As you know......
小檔很多目錄也很多層
但單一檔案>1GB的也頗多
爬文後用了大家推薦的
Allway Sync --> 當機
cobian backup --> 當機
QtdSync --> 當機
甚至用群暉自家的Synology Data Replicator 3 --> 還是當機
後來我想到用另一台Windows Server連結NAS和那台Server跑備份(cobian backup)
就算備份那台當掉了原本計畫網站也不會掛掉
無奈的是這樣備份會用到本地端的暫存空間
暫存空間根本放不下那麼多檔案
也不可能讓暫存目錄掛載到其他磁碟陣列(這應該會超慢吧...)
最後VM一台Linux Server用Rsync備份
架構大概是這樣:
NAS <--iscsi-- backup Server <--samba-- old server
這樣的好處是不用暫存空間
也不容易當掉
但一天只能備份100GB左右
這樣算下來我起碼要
450天才備份的完QQ
想問問版上的大大有沒有更適合的軟體
可以處理我目前面臨到的問題
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.232.231.209
1F：→ x94fujo6:RichCopy? 02/01 16:51
2F：→ wkwtb:ghost一類的，整個磁碟備份 02/01 17:36
這應該是最後的手段
3F：推 b2rex:當機是怎樣當的,有的舊設備只是回應慢了點 02/01 18:59
4F：→ b2rex:我有備份過一直當機,某天火大開著,隔天上班終於跑了 02/01 19:00
5F：→ b2rex:只有1%,估記要數十天才備份的完,果斷放棄 02/01 19:01
遠端連不進去網站也連不進去只能進去機房重開機
6F：→ eva19452002:fastcopy? 02/01 22:26
7F：→ eva19452002:要不要先硬碟重整再做備份動作啊？速度應該會快很多唷 02/01 22:51
8F：→ eva19452002:先把一些目錄做無損壓縮，再重整，再備份，速度應該會 02/01 22:53
9F：→ eva19452002:快很多，也不容易當機 02/01 22:53
嘗試過TeraCopy、KillCopy還有FastCopy最後都會掛掉
應該是記憶體太小的關係
硬碟重整的話擔心資源不夠網站會掛掉
有時候會出現檔案毀損的錯誤訊息
是否還要做個chkdsk?
10F：→ changtai:robocopy? 02/02 12:05
11F：→ rick65134:所以是要online的方式備份? 感覺你都是用同步軟體跑備份 02/02 16:32
主要是用差異備份的功能才方便知道自己備份到哪...
12F：推 xvid:ftp? 02/02 16:53
我試過把那台當作FTP Server...用filezilla傳到某些檔案就會中斷...
有個好處是FileZilla支援續傳
但有次我掛著想說讓它慢慢抓
後來好奇傳到哪要連遠端進去的時候才發現它掛了= =
※ 編輯: sunez 來自: 118.232.231.209 (02/02 17:06)
13F：推 xvid:什麼掛了？bsod？還是ftp server掛了？ 02/02 17:13
FTP Server掛了
14F：→ rick65134:打死我也不用filezilla出的東西 不論是server或client! 02/02 18:59
15F：→ rick65134:比它好用的一堆 何必虐待自己呢 02/02 19:00
16F：→ rick65134:我自己有用過FTP連續傳過10TB的東西 一次搞定零中斷 02/02 19:01
17F：推 newclicker:同步軟體首推 FreeFileSync 02/02 22:13
我嘗試看看
18F：推 loking:對server不是很懂 不過你要不要先將新機器虛擬化 02/03 00:06
19F：→ loking:將file server跟web server分開用不同虛擬機 02/03 00:07
20F：→ loking:之後作備份較容易 02/03 00:07
也許之後會考慮這樣做...當所有備份方法都失敗的時候
※ 編輯: sunez 來自: 118.232.231.209 (02/03 00:37)
22F：推 wkwtb:我都用ghost一類的備份，要使用的時候他有自己的程式可以直 02/03 13:48
23F：→ wkwtb:直接像虛擬光碟一樣，把映象檔掛載成為一個硬碟 02/03 13:49
24F：→ wkwtb:之前我用的事acroins，不只可以掛載，還可以直接用檔案總管 02/03 13:49
25F：→ wkwtb:讀寫（或可掛載成為唯獨） 02/03 13:50
26F：→ wkwtb:至於ghost我記憶中也有類似功能，不過我沒用過 02/03 13:50
27F：推 wkwtb:另外，既然跑陣列，為什麼不跑 raid5甚至跑 0+1 02/03 13:53
28F：→ wkwtb:只要記得檢查硬碟有沒有壞調就好 02/03 13:54
已經有跑raid 6了
現在是打算把資料移到新機器上
舊的機器要汰換掉
※ 編輯: sunez 來自: 118.232.231.209 (02/04 16:45)
※ Deleted by: sunez (118.232.231.209) 02/04/2014 21:48:20
※ 發信站: 批踢踢實業坊(ptt.cc)
※ 轉錄者: alicekey (219.68.9.207), 時間: 02/05/2014 12:25:41
29F：→ alicekey:版規：不得自刪文章，已從資源回收桶回復。 02/05 12:27
30F：推 ACGB:這篇很有意思 希望看到原PO後續解決方法 還好垃圾桶回復了 02/05 14:34
31F：推 chang0206:希望看到解法+1 這麼大量的資料要移動，向來都沒有啥好 02/05 15:15
32F：→ chang0206:方法，所以公司換NAS，都只能用同廠牌一直升級上去.. 02/05 15:15
33F：→ chang0206:唯一一次不同廠牌資料要互轉，我是用FTP去處理掉 02/05 15:15
34F：→ chang0206:如果網路環境許可，而新機器硬碟夠大的話，從新的NAS 02/05 15:18
35F：→ chang0206:做一個iscsi出來，舊機器mount進來後開始備份，就算只有 02/05 15:18
36F：→ chang0206:10MB，應該也只要跑個一個禮拜左右就可以跑完？ 02/05 15:19
37F：推 elic2577:先刪avi mkv vob ts 應該可以少個一半 02/07 11:28
38F：推 rick65134:若是要用FTP的話 推薦使用gene6 + ftprush 認識很多做大 02/11 00:16
39F：→ rick65134:事業的人都是用這種組合 02/11 00:16
40F：推 sunez:最後是用robocopy的方式一邊掛iscsi一邊用samba去傳 60MB/s 03/24 22:52
41F：推 sunez:另外robocopy可以搭配net use使用遠端傳輸 但速度極慢 03/24 22:57
42F：推 sunez:同樣1000Gbps的環境 傳送最高17MB/s 接收2MB/s... 03/24 23:02