作者rocker915 (Kiisar)
看板Python
标题[问题] bilibili 使用者资讯爬虫
时间Thu Aug 31 15:16:16 2017
目前是想爬取使用者的资讯
像是关注跟粉丝的人数
然後再爬取那些关注跟粉丝的资讯
https://space.bilibili.com/201293/#!/fans/follow
像是我要爬取这个网页的话
怎麽样爬都爬不出关注者列表
原本是用urllib2加header来爬
但後来发现网页好像是用JS来跑的
改成以下的code
http://codepad.org/oRVQkGF9
但还是一样的结果
我想爬的内容在 <div id="space-body"></div>里面 但爬出来都是空的
可以的话还请各位大神们能给点意见
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.251.217.33
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1504163780.A.483.html
1F：→ uranusjr: Selenium 遇到元素是空的第一件事情先加个 delay 压压惊 08/31 16:05
2F：→ itisjoe: bilibili 我之前有抓过播放列表的资讯 ajax 没有防外连 08/31 16:27
3F：→ itisjoe: 可以用 chrome 的 Developer Tools 开其中的 Network 看 08/31 16:27
5F：→ itisjoe: 资讯大多都是 json 格式 很好处理 08/31 16:29
6F：→ rocker915: 谢谢大大们 目前有看到东西了! 08/31 16:36