作者xyz6206a (xyz6206a)
看板Python
标题[问题] selenium爬虫新手问题
时间Thu May 5 09:30:38 2016
各位前辈好，
小弟为python爬虫新手，因为对python有点兴趣
接下了系上老师的研究助理撰写网路爬虫
目前在学校想帮老师爬Factiva资料库
但必须利用学校ip再利用学校图书馆连结进去
不过在跳转过程中会不小心蹦出新的页面
而且跳出後网址好像跳了好几次
新手面对这状况让我非常困惑，不知道该如何是好
http://imgur.com/KUECSly
http://imgur.com/42OdNRD
附图为我目前遇到的状况
不知道板上前辈们有没有什麽好方法解决?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.112.25.106
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1462411841.A.ABB.html
1F：→ ripple0129: 标题好像跟内容无关，先说好我没写过selenium，不过你 05/05 10:21
2F：→ ripple0129: 要先确定手动连线是正常的吗，感觉上似乎跟自动化无 05/05 10:22
3F：→ ripple0129: 关啊，单纯连线上就有问题吧XD 05/05 10:22
4F：→ Kadai: 直接用request设proxy连进去呢？ 05/05 13:50
5F：推 aweimeow: 用 requests 05/05 22:05
6F：→ xyz6206a: 各位前辈因为我没用过REQUEST是否有推荐的书籍呢? 05/06 00:31
7F：→ s860134: 先不谈 request ，你怎不直接到 Factiva 的页面? 05/06 01:38
8F：→ s860134: 为何要特意从图书馆的连结进去＠＠ 05/06 01:39
10F：→ s860134: 把它直接放在你 driver.get('连结网址') 05/06 01:49
11F：→ s860134: 我记得 selenium 会直接把转跳完的页面当作你请求的页面 05/06 01:54
12F：→ octantis: requests网路上有官方的教学文件 05/06 11:45
14F：→ xyz6206a: 回S大因为FACTIVA是学校资源，我没法直接从他页面登入@ 05/10 01:20
15F：→ s860134: 了解 但是图书馆连结到 CGI 让你登入阿，只要是台大IP 05/10 05:43
16F：→ s860134: 他CGI应该是以 reader 帐号登入，用 IP 做验证 05/10 05:44
17F：→ s860134: 只要你连着台大 VPN 或是直接用学校电脑应该可以直接登 05/10 05:45