作者Mutibil (nujabes)
看板Python
标题[问题] 爬虫问题
时间Mon Nov 27 14:56:18 2017
用beautifulsoup想爬steam 上对游戏的关键字评论
网址如下
http://steamcommunity.com/games/dota2/announcements/detail/1449457773770927103
comment 一页十笔，在爬的时候只能抓取得到第一页的内容
第二页的评论以後不知从何爬起，不是很了解资料放在哪
另外
这部分有推荐用书可以查吗
感觉不知道网页怎麽写，要爬资料问题一堆
又毫无头绪....
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 173.56.84.230
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1511765781.A.28B.html
1F：推 ckc1ark: 从developer panel可以看ajax url怎麽下 11/27 15:03
2F：→ ckc1ark: 他是包在json的comment_html栏位 11/27 15:04
3F：→ Mutibil: 又麻烦你了orz 一堆报告要爬虫分析... 11/27 15:06
5F：→ ckc1ark: 改start就可以捞别页了 11/27 15:12
6F：推 vi000246: 用F12看Netwrok页签 看翻页时会执行的request 11/27 17:04
7F：推 s960405s: 用selenium吧 11/28 13:43
8F：→ Mutibil: 因为觉得有些笔数很大 selenium会慢了些 11/28 13:48