作者bubble0312 (Stephen)
看板Python
標題[問題] 抓取Facebook滾輪下拉後資料
時間Wed Jun 8 13:04:27 2016
大家好! python新手發問
我想寫一個抓取facebook的html碼的program
目標是抓取一個粉絲專頁一週內的po文
但我送出request後，得到的html只有前8則po文
必須要把滾輪下拉，比較舊的po文才會顯示在網頁上
想請問有什麼辦法可以解決只抓到前8則po文這個問題? (不打算使用FB graph api)
謝謝大家!!!!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.166.48
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1465362269.A.8EB.html
1F：推 CaptainH: 自己去研究fb的ajax request，然後想辦法模擬 06/08 13:12
2F：→ CaptainH: 這可能比Graph api還麻煩 06/08 13:13
3F：推 IAMPF: 你可以試試用selenium 06/08 14:16
4F：推 syclin: 為何不試試 FB 提供的 api 06/08 20:27
5F：推 kenduest: fb新增個app, 後續用 token 登入然後用標準api溝通去抓 06/08 21:14
6F：→ kenduest: 資料 06/08 21:14
7F：→ kenduest: 這個方式才會簡單，過來人的經驗，要不然搞死最近 06/08 21:15
8F：→ poup: 用selenium可以解決。 06/08 22:48
9F：推 areyo: 推selenium 06/09 10:05
10F：→ blc: selenium,或是抓mobile頁 06/09 15:48
11F：→ bubble0312: 感謝回答！目前先用API解決問題，再慢慢研究selenium 06/09 23:36
12F：推 areyo: selenium, 找大數學堂吧，有基本教學 06/10 11:02
13F：推 trylovetom: 我是土炮用js 狂scroll，然後再抓Dom，Python 大概也 06/12 21:47
14F：→ trylovetom: 是這樣，不過放一個晚上記憶體就爆了 06/12 21:47