作者zxcv4982543 (zxcv4982543)
看板Python
標題[問題] 請教某些網站如何抓取爬蟲
時間Sat Apr 21 18:20:13 2018
如題
小弟是程式初學者 最近在學爬蟲
已經有抓 學測研究所那種交叉查榜的資料(單一網頁)
目前想抓LOL的對戰紀錄網頁
https://matchhistory.tw.leagueoflegends.com/zh/#page/landing-page
但這網頁 除了是用滾輪式網頁外
裡面的每一筆對戰紀錄
雖然左鍵點擊就能進去
但右鍵 或是
F12(chrome)找不到網頁相關的url(網頁包含每一場對戰代碼 也找不到QQ)
https://imgur.com/caFBDK9
現在目前已經會模擬瀏覽器下拉
但就是網址的取得部分有困難
想請問各位大大
有什麼關鍵字或方法能交交我QQ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.64.48
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1524306016.A.B26.html
1F：→ st9760916: 為啥要爬桶神的＝＝ 04/21 19:07
2F：推 jn8029: selenium get_elements_by_css_selector click 04/21 19:36
3F：推 vi000246: 你開F12 然後捲到最下面 網頁會載入更舊的對戰紀錄 04/21 21:36
4F：→ vi000246: 觀察一下call了什麼網址 你直接複製那網址貼上 04/21 21:37
5F：→ vi000246: 會得到所有對戰紀錄的json 04/21 21:37
6F：→ vi000246: json裡的gameid 就是match-details網址後面接的數字 04/21 21:39
7F：→ vi000246: 就能找到你要的頁面了 04/21 21:39
8F：推 coeric: 給一樓，這要給人家推一下阿 XDDDD 04/23 10:25
9F：→ coeric: 有個目的來學爬蟲，這樣才有動力 會快阿..... 04/23 10:26