作者zxcv4982543 (zxcv4982543)
看板Python
标题[问题] 请教某些网站如何抓取爬虫
时间Sat Apr 21 18:20:13 2018
如题
小弟是程式初学者 最近在学爬虫
已经有抓 学测研究所那种交叉查榜的资料(单一网页)
目前想抓LOL的对战纪录网页
https://matchhistory.tw.leagueoflegends.com/zh/#page/landing-page
但这网页 除了是用滚轮式网页外
里面的每一笔对战纪录
虽然左键点击就能进去
但右键 或是
F12(chrome)找不到网页相关的url(网页包含每一场对战代码 也找不到QQ)
https://imgur.com/caFBDK9
现在目前已经会模拟浏览器下拉
但就是网址的取得部分有困难
想请问各位大大
有什麽关键字或方法能交交我QQ
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.214.64.48
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1524306016.A.B26.html
1F：→ st9760916: 为啥要爬桶神的＝＝ 04/21 19:07
2F：推 jn8029: selenium get_elements_by_css_selector click 04/21 19:36
3F：推 vi000246: 你开F12 然後卷到最下面 网页会载入更旧的对战纪录 04/21 21:36
4F：→ vi000246: 观察一下call了什麽网址 你直接复制那网址贴上 04/21 21:37
5F：→ vi000246: 会得到所有对战纪录的json 04/21 21:37
6F：→ vi000246: json里的gameid 就是match-details网址後面接的数字 04/21 21:39
7F：→ vi000246: 就能找到你要的页面了 04/21 21:39
8F：推 coeric: 给一楼，这要给人家推一下阿 XDDDD 04/23 10:25
9F：→ coeric: 有个目的来学爬虫，这样才有动力 会快阿..... 04/23 10:26