作者rick65134 ()
看板Free_box
标题Re: [问题] Google 云端硬碟这样搬会不会比较快？
时间Mon Mar 28 22:44:40 2022
今天白天总共移动(fclone move)了40多万个档案 大小77TB
除了一开始的没有开启垃圾桶 死了将近300个档案外(17132->16852)
後面一个档案都没漏
结论就是 fclone的设定档一定要开启垃圾桶阿
use_trash = true
因为fclone move在搬档过程中会发疯似的把你的档案删掉
真的就是出现delete的讯息
2022-03-28 03:54:36 INFO : 网版再造明清201901修订版_checkedOK/网版再造明清
201901修订版583种卷册页及图书信息unicode-utf8b5/583种图书信息/ZHSY100568风筝误
传奇 +（清）李渔撰+清翼圣堂刻笠翁传奇十种本.txt: Deleted
没有垃圾桶的话 你真的只能眼睁睁看着档案消失了
我使用的参数是
--drive-server-side-across-configs --stats=1s
--stats-one-line -vP --checkers=256 --transfers=256
--drive-pacer-min-sleep=1ms
档案搬完後 可能要等半小时 期间不断用ncdu观察目的地档案到齐了没有
(一开始可能会缺很多档案 但档案会慢慢的补齐)
(在搬动之前先用ncdu扫描来源资料夹 且扫描结果的视窗不要关闭)
同时也要去把TD对应的垃圾桶的档案 全选->还原
(垃圾桶内的档案也是会慢慢冒出来 不要急)
後面还有5百万个档案要搬 继续再接再厉~~
对了 我是用主帐号去搬 因为sa帐号似乎没有权限去移动档案到TD 会跳错误讯息
你的750gb*20天 顶多15TB 应该算小case了...
※ 引述《LonyIce (耀西)》之铭言：
: 我 Google 云端硬碟搬家，教育逃到企业
: 因为摄影、录影工作，档案大又多
: 大家不推荐内建的搬家是因为容易漏档案
: 所以都推荐 rclone
: 但我的档案多，每天传输流量也有 750 gb 的上限，这样想想可能要花上 20 天以上。
: 那如果我用内建的搬家先搬（不用管流量问题），然後再用 rclone 检查档案是否遗失，这
: 样搬家时间是不是有机会压缩到 10 天以内呢？
: 这样的方法是否可行？还是会有什麽问题呢？谢谢各位。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.72.78.30 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Free_box/M.1648478682.A.4DE.html
1F：推 LonyIce: 看不太懂你用的那些功能QQ 只觉得一天能搬77TB 好厉害， 03/28 23:13
2F：→ LonyIce: 不过还是感谢你的回覆… 03/28 23:13
3F：推 Godist: 漏档可能是有名称相同的档案，才会出现档案被删除的情况， 03/28 23:16
4F：→ Godist: 跑之前可以先dedupe一次再观察看看 03/28 23:16
5F：→ Godist: 然後用SA是没办法跑server side move的，就算给了权限也只 03/28 23:16
6F：→ Godist: 会变一般的move（跑流量） 03/28 23:16
7F：→ rick65134: 确定不是重复档名的问题 所有来源档案当初从别人那边复 03/28 23:20
8F：→ rick65134: 复制过来时都有执行过很多次dedupe了 当时是为了确保复 03/28 23:21
9F：→ rick65134: 制时一个档案都没有漏 当初的最大的手笔是百万档案没漏 03/28 23:22
10F：→ rick65134: 印象中分了3次复制 03/28 23:22
11F：推 lux2668: 请问有没有fclone move完整的指令？ 03/30 09:37
12F：→ lux2668: 我资质驽顿，77T我要搬好久... 03/30 09:38
我已经把设定参数都列出来了阿
完整指令是
./fclone move rick:{AAAAAAAAAA}/来源目录 rick:{BBBBBBBBBB}/目的目录
後面挂上前面贴的那串参数即可
/来源目录 和 /目的目录 可以很多层目录
※ 编辑: rick65134 (61.220.100.12 台湾), 03/30/2022 10:42:59
13F：推 andy199113: 好文推 03/30 22:46
14F：推 lux2668: 漂亮，谢谢你喔！！ 03/31 17:08