作者gene50814 (genechen)
看板Python
标题[问题] 爬虫部署到Heroku後请求失败
时间Thu Aug 18 23:10:23 2022
各位大大好
小弟有一个爬印度证交所(
https://www.nseindia.com/) 网站的需求。
在local端写好执行都没问题，但部署到heroku之後连单纯的requests get都没办法。
请求送出之後不是会return失败的status code，而是会执行非常久都不会结束
之前在local端测试的时候是如果没有加user-agent会发生这种问题，但部署到heroku上
的程式是有加的
想请教如果要能在heroku上正常运行可以怎麽调整？ 不知道会不会是跟国家有关？ hero
ku上的国家似乎只有US跟EU。会是需要调整user-agent吗？
请大大们指点迷津了 感谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.240.132.38 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1660835426.A.C44.html
※ 编辑: gene50814 (111.240.132.38 台湾), 08/18/2022 23:11:22
1F：→ gene50814: 看起来就是网站把云端server都挡掉了 似乎无解 08/19 10:16
2F：→ shihs: 很多网站都会挡 heroku 发出的 request 08/24 20:16