作者Federer5566 (費德勒5566)
看板Python
標題[問題] selenium有時會突然卡很久
時間Wed Dec 22 19:08:03 2021
各位前輩好
最近剛開始試著用python去跑一些工作
大致上就是代替我在公司的某個網站上進行一些重複性操作
google看最多人推薦的似乎是selenium
所以就用selenium + vs code寫了一支程式
跑起來大致上都還順暢，但有時會卡卡的
譬如跑100個迴圈，可能其中80個都很順但會有20個迴圈卡很久
卡的地方都是在執行某個javascript之後(網站用一堆javascript)
要把driver轉進我目標框架的這一行(網站有好幾層框架)
也就是driver.switch_to.frame()這個函式，大約會卡個十幾秒
卡關的時候，目測網頁元件都早已載入完成了，但程式就是不會往下繼續跑
有開WINDOWS的工作管理員來看，cpu跟記憶體都沒有超載
瀏覽器(CHROME)也沒有占用特別多資源
很頭大...
不知道各位前輩有沒有處理過的經驗?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.192.74 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1640171285.A.AF9.html
1F：→ TakiDog: 不要用selenium 除非requests解決不了 12/22 19:29
2F：→ Federer5566: 撠绗뢍韏瘀벌œ飛python嚗繮ꮋ鸺equest銋蔃泾? 12/22 20:32
3F：→ Federer5566: 隢鲳閏request銋蔃泾猟ꆆ嗉ㄐ栋髠镼踹鞎? 12/22 20:33
4F：→ Federer5566: 請問request也能抓框架裡的東西嗎? 12/22 20:33
5F：→ TakiDog: 建議了解網路封包(http) 還有了解瀏覽器渲染 12/22 20:58
6F：→ TakiDog: 一定都抓的到資料 12/22 20:58
7F：→ g919233: 同樓上，requests抓的到，只是看網站的防爬蟲做的怎樣 12/22 23:13
8F：→ niceguy: 可以用requests-html，渲染後再解析 12/23 08:10
9F：推 single4565: 你是寫整合測試嗎？還是只是為了爬蟲？ 12/23 17:19