作者interwise613 (BG蔚)
看板Trading
标题[问题] 期交所选择权每日行情爬虫
时间Mon Jul 1 16:07:39 2019
各位大大午安
不晓得有没有人有在期交所爬选择权每日行情资料
从今天开始发现没有办法爬到历史资料
不管怎麽改Form Data里面的参数都只能爬到今天的
想请问有没有人遇到相同的问题
谢谢！
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 60.251.48.211 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Trading/M.1561968461.A.2E8.html
1F：推 bab7171: 证交所也是从前几天开始。期交 证交常常一直改网页07/01 18:29
2F：推 poker0531: 你要爬明细还是？07/01 21:28
我想爬的是在
https://www.taifex.com.tw/cht/3/optDailyMarketReport 的历史资
料，用的语言是python
※ 编辑: interwise613 (114.32.162.16 台湾), 07/02/2019 00:13:07
3F：→ totte: 用chrome按F12可以看到formdata07/02 09:03
4F：→ totte: network07/02 09:04
我有去看但我程式码打我指定的日期他却爬到最新的日期，怎麽改日期都一样
※ 编辑: interwise613 (60.251.48.211 台湾), 07/02/2019 09:41:42
6F：→ totte: 先试试吧 不行的话看要不要贴一下你程式 或晚上我回家後再07/02 12:20
7F：→ totte: 试07/02 12:20
9F：→ totte: lyMarketReport.py07/02 13:30
感谢totte大大，问题解决了，原因出在我是用http不是https,以前用http是没问题的，
可能最近网站有改版
※ 编辑: interwise613 (60.251.48.211 台湾), 07/02/2019 14:04:14
11F：→ totte: 是 我上礼拜五也抓很久的错 证交所也是改https07/02 14:28
12F：推 cobrasgo: 一直改版很讨厌07/04 08:57
13F：→ azuel: 最好还是自己每天把资料抓回来存db不要每次去网站上query07/05 02:29
是 但有时没办法每天做 所以还是有抓历史资料的需求
※ 编辑: interwise613 (39.8.39.89 台湾), 07/05/2019 11:18:56
14F：→ azuel: 先写好updater之後，用一个bat档丢在windows排程工作 07/05 16:10
15F：→ azuel: 把on error给写好来，每天就会自己去更新了 07/05 16:11