小弟现在需要利用程式抓取一些Google的资料
但是这些资料必须要先登入才可以下载
我试了一下午
本来想要先登入後抓cookie然後再去抓自己想要抓的资料
可是在这个步骤就完全的失败了
不管怎麽样都抓不到cookie....
POST了帐号密码
可是都会回到google的登入页面
不知道有没有人有任何的头绪
或者有什麽资料跟方法可以参考的
感谢
※ 编辑: niflheim 来自: 140.112.107.148 (01/28 19:15)
1F：→ ogamenewbie:就有动作没有模拟到吧.. 封包抓抓看, 东西对对看... 01/28 19:19
2F：推 TonyQ:我猜你应该忘记至少要考虑 refer吧 , 这是爬虫的基本喔. 01/28 22:26
3F：推 ogamenewbie:以前是都忘记图片还要补 x y... 贼一点的还要... -bi- 01/28 22:34
4F：推 slalala:推二楼 如果像我一样庸才 就用人家写好的 ex Httpclient 01/29 00:03
5F：推 qrtt1:要抓的东西 gdata api 不支援吗!? 01/29 00:19
6F：推 silver8250:Gdata API 简单好用！ 01/31 15:59
7F：→ jej:没登入过..不过一个方向看看...下载sun的access manager... 02/01 00:11
8F：→ jej:如果这个agent可以导过去google..就用sun的解法吧.... 02/01 00:13
9F：→ niflheim:我有社referer 可是还是不行 我是要抓google insights 02/03 19:03
10F：→ niflheim:提供的档案 Gdata好像刚好没有提供相关的API 02/03 19:06
11F：推 TonyQ:那user agent 有设吗 XD 02/03 22:14
12F：→ niflheim:User-Agent也有设~~ 02/04 11:34
13F：→ TonyQ:那你模拟BROWSER,先连到A页,再post到b页,记得纪录cookie, 02/04 11:40
14F：→ niflheim:请问是post前就要先纪录cookie还是post完再抓就好??? 02/04 13:52
15F：→ TonyQ:你连到A页时就要技术cookie讯息啦 :3 02/05 10:41
16F：→ TonyQ: 纪录 cookie要一起post给b页. 02/05 10:43
17F：→ niflheim:ok 我来试试~~ 02/05 11:05