作者ak77now (ak77now)
看板Free_box
標題[問題] 兩個Google Drive帳號的檔案傳送
時間Thu Apr 13 13:29:33 2017
我手上有兩個Google無限空間的帳號
比如說A、B兩個帳號好了
我現在要將A的某個資料夾(大概有3T大)
整個複製一份給B帳號
不是分享喔
是B帳號底下確實也有一份檔案
以前我試過檔案不大的話用
https://goo.gl/A7LBGm
Chrome的擴充套件Copy, URL to Google Drive
都可以順利用
可是這次可能是檔案比較多比較大
用了一陣子後開始有一堆錯誤訊息
https://i.imgur.com/bE4kTFF.png
我有稍微查一下
好像是說api的流量限制到了之類的
因為檔案太大了
實在不希望下載下來又再傳上去一次
請問還有些什麼辦法呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.254.30.65
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Free_box/M.1492061375.A.EAE.html
1F：→ Brexit: 求低調 04/13 13:48
2F：→ dooiaua: 分批傳 零碎檔越多越容易有錯誤 04/13 13:54
3F：推 mypigbaby: 1.用rclone 04/13 14:21
4F：→ mypigbaby: 2.用multcloud 04/13 14:21
5F：推 leftless: 會遇到API限制的幾乎都是影片檔 打包再傳都沒事 04/13 14:56
6F：→ leftless: rclone現在還能解 搞不好哪天也不行了 封裝才是正解 04/13 14:58
7F：推 fake30820: 我寫script去跑看到的API限制應該是在request目錄下的 04/13 17:30
8F：→ fake30820: 檔案 1分鐘超過幾次這樣 就會有問題 04/13 17:30
9F：→ fake30820: 應該不是檔案太大 我的20幾T都可以備份完了 04/13 17:31
我再用Copy, URL to Google Drive測試一次
這次我只搬一個2.6G的mp4檔
才單單一個檔
就出現Error. User rate limit exceeded了...
我只能研究Error. User rate limit exceeded以外的方法了~~
10F：→ rick65134: 既然有可能是針對影片檔 那先試試把副檔名改掉吧 04/13 19:39
11F：推 eric525498: 推 04/13 22:17
12F：推 lk86jeff: google有內建建立副本的功能啊，怎麼都沒有人使用呢？ 04/14 03:00
13F：推 eric525498: 內建副本不能整個資料夾 04/14 07:45
我目前暫時先用
https://www.multcloud.com 跑了
速度很慢
不曉得付費的話是不是速度會快非常多?
rclone的研究好久還是不會
我手上的影片是放在NAS上
但主要目的還是希望雲端上兩個Google帳號可以同步這樣
也試過了好幾個類似
https://goo.gl/Bi07NH 的工具
幾乎都是卡在影片上 (Error. User rate limit exceeded)
但影片太多了
不太可能會去做改檔名或壓縮之類的
好像只能靠multcloud的是嗎?
14F：→ fromPtoZ: air explorer也可以GD互傳(會耗網路流量) mult以前用過 04/14 10:14
15F：→ fromPtoZ: 速度極差 聽說付費後也沒多好 建議別跳這個坑 04/14 10:15
謝謝喔
正在試用中
如果是雲端A對雲端B的話
他這軟體看起來還滿像是透過PC做一個中介
一邊從A下載到電腦的暫存空間後馬上又同時上傳到B那邊去
其實算是可以用的
如果不靠這軟體的話
純手動把整個A下載下來再上傳B
除了麻煩外
還怕自己本地端的容量太小
靠這軟體好像就可以順利解決
16F：→ fromPtoZ: 對 rclone也有這功能 只是rclone是cli 04/14 12:28
17F：→ fromPtoZ: air explorer則有圖形界面 操作起來比較簡單 04/14 12:28
真的是滿滿的感動!
我再多摸一下
滿有可能就買他了~
太謝謝了
18F：推 rick65134: 與其用air explorer 我會推薦smartftp但要付費 04/14 13:39
19F：→ rick65134: 速度穩定許多 之前用air explorer 速度上下起伏超大 04/14 13:40
20F：→ fromPtoZ: 我都能吃滿100Mbps頻寬... 04/14 16:30
21F：→ fromPtoZ: *穩定吃滿 04/14 16:31
air explorer用了一個下午
還不錯 起伏的話比較容易發生在零碎的小檔(幾十KB那種大小)
當開始傳幾十MB、好幾G的那種大小的影片時速度很穩定
我的頻寬都有吃滿
smartftp的話我找時間研究一下
不曉得是不是跟以往的FTP軟體操作模式一樣:
先下載下來後，再自行手動上傳到另一端
還是跟air explorer一樣
可以直接A傳B (電腦本身中繼暫存檔)
22F：推 rick65134: smartftp當然也是直接A傳B阿 (電腦本身中繼暫存檔) 04/14 18:41
23F：→ rick65134: 如果air explorer穩定的話 那就用air吧 至少它有免費版 04/14 18:42
24F：推 leftless: rclone可以不用中繼直接複製 04/14 20:07
感謝以上所有推文
讓我知道兩個Google Drive帳號間檔案的傳送方式
目前看起來是
MultCloud (
https://www.multcloud.com/ )
cloudHQ (
https://www.cloudhq.net )
rclone
Air Explorer (本機端軟體)
GoodSync (本機端軟體)
SmartFTP (本機端軟體)
我都會再花時間都研究看看
還有其他可用的方法我再繼續整理在這篇
不過我很納悶的是rclone
https://i.imgur.com/7NomBgp.png
不用中繼的話
總是會有個平台之類的去處理
畢竟也是要消耗些資源
那這平台是誰提供的?
因為如果有中繼到自己電腦的話
電腦可以負責處理這方面橋接的問題
MultCloud也是他們網站的主機負責
是說如果rclone設定好以後
腳本(指令)上傳到某個地方就可以電腦關機讓他雲端離線處理了嗎?
當然最佳解就是速度快+可雲端處理免一直開著電腦是最好了
對rclone還是不太了解
25F：推 fake30820: rclone應該是吃自己的資源吧 不然他哪來這麼大的server 04/14 21:25
26F：→ fake30820: 讓你跑 04/14 21:25
27F：→ fake30820: 除了可以拖拉那種網頁搬移的以外 04/14 21:27
28F：→ fake30820: 應該都是吃自己的資源 04/14 21:27
對喔!
這樣感覺合理多了
畢竟總要有個平台或資源去處理這方面的動作才是
不可能這麼神奇憑空就這樣將雲端上A、B兩個檔案直接傳過去
可惜google本身不提供
不然他願意的話 檔案都是在他們上面
這樣做對他們沒什麼難度才是
29F：推 diac2000: 分享之後再複製一次？ 04/14 23:25
我有找到類似的教學
https://goo.gl/gJ88e1
有操作過了
處理到影片檔的部分就會失敗
如果是壓縮檔(好像好幾G吧)
用這種複製+分享的操作有成功過~
30F：推 leftless: 因為google有提供直接複製檔案的API而rclone是直接call 04/15 06:47
31F：→ leftless: api複製檔案 所以不會有下載再上傳的動作 04/15 06:47
32F：推 leftless: 需要注意的是只有來源和目標路徑是同帳號rclone才會複製 04/15 06:49
33F：→ leftless: 檔案 否則它會下載後再上傳 04/15 06:49
34F：→ leftless: 你一開始貼的那個網站就是用api複製檔案 04/15 06:50
35F：→ leftless: 至於為什麼rclone比較不會遇到api限制就不清楚了 04/15 06:52
36F：推 leftless: 甚至是連在GD網頁上直接按建立副本會報錯的檔案 rclone 04/15 06:53
37F：→ leftless: 都能成功複製 04/15 06:53
38F：→ leftless: 知道方法的就低調用吧 一堆人操下去遲早也會吃apo限制 04/15 06:57
39F：→ sweshi: rclone 可以用自己申請的 Google API 04/15 07:51
40F：→ fromPtoZ: rclone轉存的api碰到零碎檔案的時候會漏檔 04/15 09:44
41F：→ fromPtoZ: 個人不推薦用rclone轉存 我跟我朋友都被坑過好幾次了 04/15 09:45
42F：→ fromPtoZ: (我是指直接複製檔案的轉存 如果是中繼需要消耗網路流量 04/15 09:46
43F：→ fromPtoZ: 的轉存 rclone不會出問題 04/15 09:47
44F：→ leftless: 先用直接複製搞定大體積影片檔 再用中繼模式補齊零碎檔 04/15 11:17
45F：→ leftless: 我還是傾向包起來再傳 什麼毛病都沒有 就是不方便了點 04/15 11:18
我有試到一個東西
比如說A帳號要丟檔案到B帳號時
B開個共享資料夾(有新增權限的)給A
A將檔案移動到被共享的資料夾以後
B將整個共享權限收回後
雖然檔案一樣擁有者掛名是A
但A那邊將檔案刪掉、垃圾桶清空後
B收到的那個檔案不會不見
有種情況會不見
就是B如果收到的是個資料夾且裡面有裝一些檔案
你把裡面個別檔案移出去就會消失掉
等於是檔案一定要跟著原本過來的資料夾底下
所以說剛剛的例子的話
如果A能把要丟給人的檔案或資料夾先複製一份出來
用剛的方式去搬移就可以了
但問題是純粹複製一份自己帳號本身的東西
都有時成功、有時失敗了
(失敗時會有類似User rate limit exceeded訊息)
如果這部分不能解決也沒用就是
檔案小的話還可以
量大一點的話這招好像行不通
還是要依照推文中的方法
老老實實去處理
46F：推 WindSucker: 或者 花錢買API用量 04/15 17:20
47F：→ leftless: 試了一下連rar也吃API限制了..應該最近有改過規則 04/15 21:05
48F：→ leftless: 大概只能花錢買API或是租大水管當中繼來傳了 04/15 21:06
49F：推 inocchi1976: GOODSYNC 有30天試用 可以兩邊比對 也是PC當中繼 04/16 00:04
50F：→ inocchi1976: multcloud付費還會掉檔 不推 04/16 00:05
感謝
又多了些選擇了
51F：推 ferica: 新手太菜 不知道api怎麼收費的 有10T靠網速實在搬不動@@ 04/16 09:56
動輒數T的東西 搬起來很絕望啊!
我上傳每秒3.5MB 隨時都有種想辦至少是100M/100M的衝動..
52F：推 fromPtoZ: 100/100搬了30T的路過 04/16 10:15
53F：→ fromPtoZ: 目前改用VPS搬 早上實測上傳速度110MB/S www 04/16 10:15
54F：推 diac2000: 用good sync或nas 04/16 14:01
自從搞了個無限空間後
上傳速度變得超重要的啊!
我的NAS是Synology DS716+
可以讓NAS端與雲端之間做同步
但等之後NAS端硬碟不夠
改成單向上傳的話
雲端檔案量遠大於NAS端時
接下來勢必就是空間夠大的雲端對雲端同步了
NAS目前沒看到類似air explorer的套件
之後大概就是要長期把電腦開著掛機了
欸幹 30T到底是啥小! 為什麼這麼大
突然才想到這問題
(我的5T都是電影檔)
55F：推 Angrierb: 這個東西有script啊，17T成功複製 04/17 10:47
57F：→ Angrierb: 不過複製這麼多當然是要跑好幾天就是了 04/17 10:49
58F：→ Angrierb: 使用方式，先共享到B，然後用B帳號打開網站，啟動腳本 04/17 10:51
這類腳本類的小工具我用了好幾款
都會有類似的錯誤訊息
https://i.imgur.com/z9HS3cA.png
Error, GoogleJsonResponseException: User rate limit exceeded
我看上面有成功的都是小的檔案
影片檔都會失敗
後來我有寫信並附上以上那張圖去問作者:
我問:
我的Google帳號是無限空間的
會有這樣的錯誤訊息是因為我的檔案太大還是什麼原因呢?
這是他回信給我的答覆:
This isn't related to your account type,
it is just a bug in the app.
Also related to the way Google allows free services to run.
Unfortunately there is no solution at this time.
I works recommend trying again in a few hours.
59F：推 ferica: 推原po用心～以前不知道備份 現在想備份 變得好費工@@ 04/18 07:22
60F：→ fromPtoZ: 剛才重新試了轉存 連非影片檔都會被限制了 04/18 17:33
61F：→ fromPtoZ: 轉了2500個rar後開始出現user rate limit exceeded.... 04/18 17:33
這年頭有大檔要傳的需求的話
網路沒用個100M/100M的還真不夠用 :(
※ 編輯: ak77now (122.254.30.65), 04/18/2017 20:17:17
62F：→ tinlans: 銀彈夠的話，歐美那邊租一台 100TB 流量、1Gbps 頻寬的 04/20 04:32
63F：→ tinlans: 獨立主機，拼命傳拼命灌好幾家雲端都隨便你。 04/20 04:32
64F：→ tinlans: 或者台灣這邊 NAS 開 http server 給外國主機開 IDM 抓， 04/20 04:33
65F：→ tinlans: 保證上傳滿速外，上了獨立主機以後分流各雲端就超快。 04/20 04:33