作者superpaden (六四坦克蹦蹦蹦)
看板Python
標題[問題] 瀑布式網頁爬蟲問題
時間Tue Feb 2 01:02:29 2021
請問各位30cm Ecup鄉親們:
小弟最近在爬蟲使用selenium爬蟲時出現了一點障礙，就是
當瀑布式網頁下滑太多時，電腦的記憶體會炸開。目前的解決方法是在chrome options 添
加--disk-cache-dir來指定存放在外接硬碟。
可是電腦在跑的時候，雖然硬碟中有東西進來，但是同時電腦的ram也在飛速流失
拜託各位大老們指點我這個菜逼八
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.149.183 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1612198980.A.C3B.html
1F：→ x94fujo6: 用JS刪掉抓完資料的element? 02/02 06:05
2F：推 supremebboy: 用requests +bs4 爬 02/02 09:07
3F：推 ToastBen: a大 他可能要爬動態資料吧？ 02/02 13:26
4F：→ superpaden: 對的 我要爬動態資料 02/02 14:57
5F：推 aidansky0989: 一樣用requests爬，盡量不要用s 02/02 16:51
6F：推 vi000246: 用request吧 02/02 17:31
7F：推 supremebboy: 瀑布式大部分都是下拉時再發請求去拿資料 02/02 19:56
8F：→ supremebboy: 去看開發者工具 用requests 發出一樣的請求 02/02 19:57
9F：→ taipoo: 用selenium爬蟲很慢的 02/03 04:15
10F：→ TakiDog: 你要懂網路，網路才會懂你，requests香噴噴，沒極端反爬 02/03 22:49
11F：→ TakiDog: 需求不要Selenium 02/03 22:49