小弟現在需要利用程式抓取一些Google的資料
但是這些資料必須要先登入才可以下載
我試了一下午
本來想要先登入後抓cookie然後再去抓自己想要抓的資料
可是在這個步驟就完全的失敗了
不管怎麼樣都抓不到cookie....
POST了帳號密碼
可是都會回到google的登入頁面
不知道有沒有人有任何的頭緒
或者有什麼資料跟方法可以參考的
感謝
※ 編輯: niflheim 來自: 140.112.107.148 (01/28 19:15)
1F：→ ogamenewbie:就有動作沒有模擬到吧.. 封包抓抓看, 東西對對看... 01/28 19:19
2F：推 TonyQ:我猜你應該忘記至少要考慮 refer吧 , 這是爬蟲的基本喔. 01/28 22:26
3F：推 ogamenewbie:以前是都忘記圖片還要補 x y... 賊一點的還要... -bi- 01/28 22:34
4F：推 slalala:推二樓 如果像我一樣庸才 就用人家寫好的 ex Httpclient 01/29 00:03
5F：推 qrtt1:要抓的東西 gdata api 不支援嗎!? 01/29 00:19
6F：推 silver8250:Gdata API 簡單好用！ 01/31 15:59
7F：→ jej:沒登入過..不過一個方向看看...下載sun的access manager... 02/01 00:11
8F：→ jej:如果這個agent可以導過去google..就用sun的解法吧.... 02/01 00:13
9F：→ niflheim:我有社referer 可是還是不行 我是要抓google insights 02/03 19:03
10F：→ niflheim:提供的檔案 Gdata好像剛好沒有提供相關的API 02/03 19:06
11F：推 TonyQ:那user agent 有設嗎 XD 02/03 22:14
12F：→ niflheim:User-Agent也有設~~ 02/04 11:34
13F：→ TonyQ:那你模擬BROWSER,先連到A頁,再post到b頁,記得紀錄cookie, 02/04 11:40
14F：→ niflheim:請問是post前就要先紀錄cookie還是post完再抓就好??? 02/04 13:52
15F：→ TonyQ:你連到A頁時就要技術cookie訊息啦 :3 02/05 10:41
16F：→ TonyQ: 紀錄 cookie要一起post給b頁. 02/05 10:43
17F：→ niflheim:ok 我來試試~~ 02/05 11:05