作者os653 ()
看板Python
标题[问题] 用 requests 爬网站无回应
时间Tue Apr 25 20:05:23 2017
最近写了个小程式，想用来一次查询一串资料，不然人工查询很痛苦
当资料只有 10 笔的时候，可以正常输出 10 笔查询结果
但当资料有 10 万笔的时候，输出到 500 笔左右程式就会停住
请问这是单纯查太大被防火墙挡了，还是 requests 函式库的问题？
(备注：程式停住时也没有收到 404 的讯息，感觉像是一直在等对方伺服器回应
尝试加了 sleep(1) 状况也没有改善)
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.46.143.100
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1493121925.A.59D.html
1F：→ jn8029: 不够资讯 04/25 20:30
2F：→ jn8029: 无从判断（？） 04/25 20:31
3F：→ zerof: 用 stream=True, 其他请楼下帮........ 04/25 20:45
4F：→ os653: 抱歉资讯不全，因为程式就真的在发呆，啥回应都没有 04/25 21:15
5F：→ os653: 明天试试加stream=True看看，虽然看文件的说明感觉不太像 04/25 21:16
6F：→ jn8029: 给个url跟gist看看吧? 04/26 10:39
7F：→ coeric: sleep看看？ 04/26 11:53
8F：→ coeric: 忽略上一行 原来已经sleep过了 04/26 11:54
9F：→ karta0910489: 资讯太少 真的很难帮 04/26 13:30
10F：推 allan80625: 这个我之前也有遇过，完全没有错误讯息 04/27 21:17
11F：→ allan80625: 也不知道为什麽就是停住了，尝试换ip、换header都无 04/27 21:18
12F：→ allan80625: 解 04/27 21:18
13F：→ allan80625: 後来我把爬虫程式写成function，固定10分钟重跑才解决 04/27 21:19
14F：推 koshi0413: 锁ip吧。我被锁过3天的，对方算泥ip当日登入次数就好了 04/28 00:01
15F：→ os653: 看来只能仿照allan大的解法用重跑大法了 04/28 06:58