作者interwise613 (BG蔚)
看板Trading
標題[問題] 期交所選擇權每日行情爬蟲
時間Mon Jul 1 16:07:39 2019
各位大大午安
不曉得有沒有人有在期交所爬選擇權每日行情資料
從今天開始發現沒有辦法爬到歷史資料
不管怎麼改Form Data裡面的參數都只能爬到今天的
想請問有沒有人遇到相同的問題
謝謝！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.251.48.211 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Trading/M.1561968461.A.2E8.html
1F：推 bab7171: 證交所也是從前幾天開始。期交 證交常常一直改網頁07/01 18:29
2F：推 poker0531: 你要爬明細還是？07/01 21:28
我想爬的是在
https://www.taifex.com.tw/cht/3/optDailyMarketReport 的歷史資
料，用的語言是python
※ 編輯: interwise613 (114.32.162.16 臺灣), 07/02/2019 00:13:07
3F：→ totte: 用chrome按F12可以看到formdata07/02 09:03
4F：→ totte: network07/02 09:04
我有去看但我程式碼打我指定的日期他卻爬到最新的日期，怎麼改日期都一樣
※ 編輯: interwise613 (60.251.48.211 臺灣), 07/02/2019 09:41:42
6F：→ totte: 先試試吧 不行的話看要不要貼一下你程式 或晚上我回家後再07/02 12:20
7F：→ totte: 試07/02 12:20
9F：→ totte: lyMarketReport.py07/02 13:30
感謝totte大大，問題解決了，原因出在我是用http不是https,以前用http是沒問題的，
可能最近網站有改版
※ 編輯: interwise613 (60.251.48.211 臺灣), 07/02/2019 14:04:14
11F：→ totte: 是 我上禮拜五也抓很久的錯 證交所也是改https07/02 14:28
12F：推 cobrasgo: 一直改版很討厭07/04 08:57
13F：→ azuel: 最好還是自己每天把資料抓回來存db不要每次去網站上query07/05 02:29
是 但有時沒辦法每天做 所以還是有抓歷史資料的需求
※ 編輯: interwise613 (39.8.39.89 臺灣), 07/05/2019 11:18:56
14F：→ azuel: 先寫好updater之後，用一個bat檔丟在windows排程工作 07/05 16:10
15F：→ azuel: 把on error給寫好來，每天就會自己去更新了 07/05 16:11