作者xyz6206a (xyz6206a)
看板Python
標題[問題] selenium爬蟲新手問題
時間Thu May 5 09:30:38 2016
各位前輩好，
小弟為python爬蟲新手，因為對python有點興趣
接下了系上老師的研究助理撰寫網路爬蟲
目前在學校想幫老師爬Factiva資料庫
但必須利用學校ip再利用學校圖書館連結進去
不過在跳轉過程中會不小心蹦出新的頁面
而且跳出後網址好像跳了好幾次
新手面對這狀況讓我非常困惑，不知道該如何是好
http://imgur.com/KUECSly
http://imgur.com/42OdNRD
附圖為我目前遇到的狀況
不知道板上前輩們有沒有什麼好方法解決?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.25.106
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1462411841.A.ABB.html
1F：→ ripple0129: 標題好像跟內容無關，先說好我沒寫過selenium，不過你 05/05 10:21
2F：→ ripple0129: 要先確定手動連線是正常的嗎，感覺上似乎跟自動化無 05/05 10:22
3F：→ ripple0129: 關啊，單純連線上就有問題吧XD 05/05 10:22
4F：→ Kadai: 直接用request設proxy連進去呢？ 05/05 13:50
5F：推 aweimeow: 用 requests 05/05 22:05
6F：→ xyz6206a: 各位前輩因為我沒用過REQUEST是否有推薦的書籍呢? 05/06 00:31
7F：→ s860134: 先不談 request ，你怎不直接到 Factiva 的頁面? 05/06 01:38
8F：→ s860134: 為何要特意從圖書館的連結進去＠＠ 05/06 01:39
10F：→ s860134: 把它直接放在你 driver.get('連結網址') 05/06 01:49
11F：→ s860134: 我記得 selenium 會直接把轉跳完的頁面當作你請求的頁面 05/06 01:54
12F：→ octantis: requests網路上有官方的教學文件 05/06 11:45
14F：→ xyz6206a: 回S大因為FACTIVA是學校資源，我沒法直接從他頁面登入@ 05/10 01:20
15F：→ s860134: 了解 但是圖書館連結到 CGI 讓你登入阿，只要是台大IP 05/10 05:43
16F：→ s860134: 他CGI應該是以 reader 帳號登入，用 IP 做驗證 05/10 05:44
17F：→ s860134: 只要你連著台大 VPN 或是直接用學校電腦應該可以直接登 05/10 05:45