作者Alexis (得意志)
看板Python
标题[问题] 抓股票数据，用proxy本来正常，後来失败
时间Mon Jan 29 00:29:44 2018
Python & 网路新手请教
我尝试想要透过
http://www.twse.com.tw/exchangeReport/STOCK_DAY
将所有股票的历史数据抓下来存到资料库
但多下几次requests.get就会被挡掉
於是我改透过10几个proxy去轮流抓
晚餐前正常，但後来却抓不到资料
proxies = {"http": lProxyList[proxyIndex]}
r = requests.get(TWSE_BASE_URL, params=params, headers=headers,
proxies=proxies, timeout=5)
print(r.status_code) => 印出 200 正常
print(r.text) => 本来可以，後来都印 {"stat":"很抱歉，没有符合条件的资料!"}
刚试过如果不用proxy就正常，{"stat":"OK","date":"20171201","title":"
有带proxy就会抓到{"stat":"很抱歉，没有符合条件的资料!"}
换过不同国家的proxy都一样
用了proxy证交所网页还有办法挡掉吗？
请问有人知道这是什麽原因吗？ 或可以如何debug？
另一个问题：
我这样抓10年内的历史数据，觉得还蛮耗时间的
请问有比较快速的建议吗？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.137.42.104
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1517156987.A.D41.html
1F：→ vi000246: 你可以试试挂国内的proxy 可能是国外的被ban了 01/29 00:48
後来发现网站真的回传空的内容，
因为再生-KY(1337) 这支的开始日是2011/07/01
可是2011/07月份却没资料可抓
我本来将有问题的内容都视为proxy的问题，
以至於换其他proxy去抓也是空的，
所以跳过这个月份，就正常了。
之前不用proxy可抓到，是因为没注意到日期和个股会有关系。
※ 编辑: Alexis (1.163.30.13), 02/02/2018 23:16:32