作者os653 ()
看板Python
標題[問題] 用 requests 爬網站無回應
時間Tue Apr 25 20:05:23 2017
最近寫了個小程式，想用來一次查詢一串資料，不然人工查詢很痛苦
當資料只有 10 筆的時候，可以正常輸出 10 筆查詢結果
但當資料有 10 萬筆的時候，輸出到 500 筆左右程式就會停住
請問這是單純查太大被防火牆擋了，還是 requests 函式庫的問題？
(備註：程式停住時也沒有收到 404 的訊息，感覺像是一直在等對方伺服器回應
嘗試加了 sleep(1) 狀況也沒有改善)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.46.143.100
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1493121925.A.59D.html
1F：→ jn8029: 不夠資訊 04/25 20:30
2F：→ jn8029: 無從判斷（？） 04/25 20:31
3F：→ zerof: 用 stream=True, 其他請樓下幫........ 04/25 20:45
4F：→ os653: 抱歉資訊不全，因為程式就真的在發呆，啥回應都沒有 04/25 21:15
5F：→ os653: 明天試試加stream=True看看，雖然看文件的說明感覺不太像 04/25 21:16
6F：→ jn8029: 給個url跟gist看看吧? 04/26 10:39
7F：→ coeric: sleep看看？ 04/26 11:53
8F：→ coeric: 忽略上一行 原來已經sleep過了 04/26 11:54
9F：→ karta0910489: 資訊太少 真的很難幫 04/26 13:30
10F：推 allan80625: 這個我之前也有遇過，完全沒有錯誤訊息 04/27 21:17
11F：→ allan80625: 也不知道為什麼就是停住了，嘗試換ip、換header都無 04/27 21:18
12F：→ allan80625: 解 04/27 21:18
13F：→ allan80625: 後來我把爬蟲程式寫成function，固定10分鐘重跑才解決 04/27 21:19
14F：推 koshi0413: 鎖ip吧。我被鎖過3天的，對方算泥ip當日登入次數就好了 04/28 00:01
15F：→ os653: 看來只能仿照allan大的解法用重跑大法了 04/28 06:58