作者why702 (Glory Glory ManU )
看板Python
標題[討論] 股票爬蟲
時間Tue Dec 5 22:32:54 2017
小弟初學python，
有寫一個某個股票網站的爬蟲，
希望跟各位前輩交流一下，
但是礙於這個網站會擋爬蟲，
所以我不敢把程式公開，
如果有人也有寫類似的爬蟲願意交流的嗎？
目前我的程式因為股票資訊太多，
如果要全部都爬會花超過13hr，
所以我閹割了一大部分，
保留我覺得比較重要的，
但是還是會花約3hr多
想看前輩是不是有比較好的方法願意交流
感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.45.120.135
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1512484378.A.BF5.html
1F：→ cocoaswifty: 股票程式交易不都有API可以用，為什麼要爬 12/05 23:40
2F：推 TitanEric: 3小時好久… 覺得沒效率 12/06 00:05
3F：→ TitanEric: 應該有像樓上講的API可以用沒有錯 12/06 00:05
4F：→ why702: 有現成的，有辦法把所需的數據給我自由運算的嗎？ 12/06 00:53
5F：推 neil987: stocktw 12/06 03:37
6F：推 coeric: 是樓上說的這網站嗎？改天來挑戰看看～～ 12/06 09:45
7F：推 wennie0433: github twstock 12/06 21:19
8F：→ why702: 喔！ 這個我看過，寫得很好，但是少了一些資訊，所以我只 12/07 00:31
9F：→ why702: 好自己爬 12/07 00:31
10F：推 rexyeah: 很好奇為何爬3hr..我爬了8個頁面還加上運算後在google 12/07 12:39
11F：→ rexyeah: sheet上紀錄，還做了樞紐與畫圖也不用3分鐘啊 12/07 12:40
12F：→ rexyeah: btw, 我只紀錄了14個指標啦 12/07 12:41
13F：→ why702: 因為那個網站把歷史數據全部放上去，讀取解析那海量數據 12/07 18:51
14F：→ why702: 花很多時間 12/07 18:51
15F：→ why702: 有興趣我可以把git給您參考，看有沒什麼建議？ 12/07 18:52
16F：推 koshi0413: 可以學我把歷史資料爬完後，下來用SQL分析，快不少 12/07 20:19
17F：→ why702: 我就是這樣做沒錯，但還是每天要更新 12/08 18:53