作者alich (阿力取)
看板Ajax
标题[问题] 如何parse有infinite scroll的页面?
时间Wed Apr 30 22:58:15 2014
最近用node在parse一些网页，
可是不知道该如何处理有infinite scroll的页面阿QQ
现在应该有两个问题:
(1) 要trigger scroll，让更多的资料显示出来；那就是要send一个ajax request
给要parse的那个页面吧，可是... 该怎麽做?
(2) infinite scroll後来被trigger出来的资料可以在f12的DOM tree里面找到，
可是parser抓到的html是来自 右键 -> 检视原始码阿，
这样就算我可以trigger scroll还是没办法抓到更多资料ˊˋ
有没有方法可以抓到f12里面的DOM tree ?
想请问各位大师有甚麽建议~~ 谢谢~~~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.195.193.115
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Ajax/M.1398869897.A.9BB.html
※ 编辑: alich (123.195.193.115), 04/30/2014 23:09:58
1F：→ danny8376:非通解就是对该网站研究他的ajax资料 05/01 00:56
2F：→ danny8376:通解请自己弄出JS解释器(然後你就变Google了) 05/01 00:56
3F：推 Fantasywind:phantomjs 05/01 01:52
4F：→ Rplus: phantomjs XDD 05/01 07:19
感谢各位回应~~
原本是用request + cheerio，
但这个组合似乎无法send request(?)，也只能抓到原始码而已。
现在换成用webdriver了，上面两个问题都可以解决，感谢各位~~
※ 编辑: alich (42.75.226.208), 05/01/2014 11:38:25