作者CaptPlanet (ep)
看板Python
标题[问题] 证交所历史股价 无法自动下载
时间Wed Apr 18 16:20:18 2018
以前有写出code自动下载证交所上的csv档
最近想整理更多个股日成交价量资讯,发现没办法抓了,会出现maxretryerror的错误,
看起来是被挡了,
加上了time.sleep和timeout设成None和fake useragent也没办法解决,
想请问各位有没有什麽好方法呢?感谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 27.52.202.114
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1524039621.A.368.html
1F:→ cory8249: 大概IP被锁 会被禁一段时间 04/18 17:55
2F:推 ThxThx: max retry error不是root cause 04/18 18:50
3F:→ ThxThx: 你要先告诉大家retry失败的原因是什麽或是你怎麽爬的,因 04/18 18:50
4F:→ ThxThx: 为挡爬虫的方法太多招了 04/18 18:50
5F:→ CaptPlanet: 感谢回覆 以解决 等一段时间後把time sleep加长已经可 04/19 10:02
6F:→ CaptPlanet: 以正常运作 看起来是一开始频率太高被锁了而已 04/19 10:02