作者bubble0312 (Stephen)
看板Python
标题[问题] 抓取Facebook滚轮下拉後资料
时间Wed Jun 8 13:04:27 2016
大家好! python新手发问
我想写一个抓取facebook的html码的program
目标是抓取一个粉丝专页一周内的po文
但我送出request後，得到的html只有前8则po文
必须要把滚轮下拉，比较旧的po文才会显示在网页上
想请问有什麽办法可以解决只抓到前8则po文这个问题? (不打算使用FB graph api)
谢谢大家!!!!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.214.166.48
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1465362269.A.8EB.html
1F：推 CaptainH: 自己去研究fb的ajax request，然後想办法模拟 06/08 13:12
2F：→ CaptainH: 这可能比Graph api还麻烦 06/08 13:13
3F：推 IAMPF: 你可以试试用selenium 06/08 14:16
4F：推 syclin: 为何不试试 FB 提供的 api 06/08 20:27
5F：推 kenduest: fb新增个app, 後续用 token 登入然後用标准api沟通去抓 06/08 21:14
6F：→ kenduest: 资料 06/08 21:14
7F：→ kenduest: 这个方式才会简单，过来人的经验，要不然搞死最近 06/08 21:15
8F：→ poup: 用selenium可以解决。 06/08 22:48
9F：推 areyo: 推selenium 06/09 10:05
10F：→ blc: selenium,或是抓mobile页 06/09 15:48
11F：→ bubble0312: 感谢回答！目前先用API解决问题，再慢慢研究selenium 06/09 23:36
12F：推 areyo: selenium, 找大数学堂吧，有基本教学 06/10 11:02
13F：推 trylovetom: 我是土炮用js 狂scroll，然後再抓Dom，Python 大概也 06/12 21:47
14F：→ trylovetom: 是这样，不过放一个晚上记忆体就爆了 06/12 21:47