作者rick65134 ()
看板Free_box
標題Re: [問題] Google 雲端硬碟這樣搬會不會比較快？
時間Mon Mar 28 22:44:40 2022
今天白天總共移動(fclone move)了40多萬個檔案 大小77TB
除了一開始的沒有開啟垃圾桶 死了將近300個檔案外(17132->16852)
後面一個檔案都沒漏
結論就是 fclone的設定檔一定要開啟垃圾桶阿
use_trash = true
因為fclone move在搬檔過程中會發瘋似的把你的檔案刪掉
真的就是出現delete的訊息
2022-03-28 03:54:36 INFO : 網版再造明清201901修訂版_checkedOK/網版再造明清
201901修訂版583種卷冊頁及圖書信息unicode-utf8b5/583種圖書信息/ZHSY100568風箏誤
傳奇 +（清）李漁撰+清翼聖堂刻笠翁傳奇十種本.txt: Deleted
沒有垃圾桶的話 你真的只能眼睜睜看著檔案消失了
我使用的參數是
--drive-server-side-across-configs --stats=1s
--stats-one-line -vP --checkers=256 --transfers=256
--drive-pacer-min-sleep=1ms
檔案搬完後 可能要等半小時 期間不斷用ncdu觀察目的地檔案到齊了沒有
(一開始可能會缺很多檔案 但檔案會慢慢的補齊)
(在搬動之前先用ncdu掃描來源資料夾 且掃描結果的視窗不要關閉)
同時也要去把TD對應的垃圾桶的檔案 全選->還原
(垃圾桶內的檔案也是會慢慢冒出來 不要急)
後面還有5百萬個檔案要搬 繼續再接再厲~~
對了 我是用主帳號去搬 因為sa帳號似乎沒有權限去移動檔案到TD 會跳錯誤訊息
你的750gb*20天 頂多15TB 應該算小case了...
※ 引述《LonyIce (耀西)》之銘言：
: 我 Google 雲端硬碟搬家，教育逃到企業
: 因為攝影、錄影工作，檔案大又多
: 大家不推薦內建的搬家是因為容易漏檔案
: 所以都推薦 rclone
: 但我的檔案多，每天傳輸流量也有 750 gb 的上限，這樣想想可能要花上 20 天以上。
: 那如果我用內建的搬家先搬（不用管流量問題），然後再用 rclone 檢查檔案是否遺失，這
: 樣搬家時間是不是有機會壓縮到 10 天以內呢？
: 這樣的方法是否可行？還是會有什麼問題呢？謝謝各位。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.78.30 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Free_box/M.1648478682.A.4DE.html
1F：推 LonyIce: 看不太懂你用的那些功能QQ 只覺得一天能搬77TB 好厲害， 03/28 23:13
2F：→ LonyIce: 不過還是感謝你的回覆… 03/28 23:13
3F：推 Godist: 漏檔可能是有名稱相同的檔案，才會出現檔案被刪除的情況， 03/28 23:16
4F：→ Godist: 跑之前可以先dedupe一次再觀察看看 03/28 23:16
5F：→ Godist: 然後用SA是沒辦法跑server side move的，就算給了權限也只 03/28 23:16
6F：→ Godist: 會變一般的move（跑流量） 03/28 23:16
7F：→ rick65134: 確定不是重複檔名的問題 所有來源檔案當初從別人那邊復 03/28 23:20
8F：→ rick65134: 複製過來時都有執行過很多次dedupe了 當時是為了確保複 03/28 23:21
9F：→ rick65134: 製時一個檔案都沒有漏 當初的最大的手筆是百萬檔案沒漏 03/28 23:22
10F：→ rick65134: 印象中分了3次複製 03/28 23:22
11F：推 lux2668: 請問有沒有fclone move完整的指令？ 03/30 09:37
12F：→ lux2668: 我資質駑頓，77T我要搬好久... 03/30 09:38
我已經把設定參數都列出來了阿
完整指令是
./fclone move rick:{AAAAAAAAAA}/來源目錄 rick:{BBBBBBBBBB}/目的目錄
後面掛上前面貼的那串參數即可
/來源目錄 和 /目的目錄 可以很多層目錄
※ 編輯: rick65134 (61.220.100.12 臺灣), 03/30/2022 10:42:59
13F：推 andy199113: 好文推 03/30 22:46
14F：推 lux2668: 漂亮，謝謝你喔！！ 03/31 17:08