作者why702 (Glory Glory ManU )
看板Python
标题[讨论] 股票爬虫
时间Tue Dec 5 22:32:54 2017
小弟初学python，
有写一个某个股票网站的爬虫，
希望跟各位前辈交流一下，
但是碍於这个网站会挡爬虫，
所以我不敢把程式公开，
如果有人也有写类似的爬虫愿意交流的吗？
目前我的程式因为股票资讯太多，
如果要全部都爬会花超过13hr，
所以我阉割了一大部分，
保留我觉得比较重要的，
但是还是会花约3hr多
想看前辈是不是有比较好的方法愿意交流
感谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.45.120.135
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1512484378.A.BF5.html
1F：→ cocoaswifty: 股票程式交易不都有API可以用，为什麽要爬 12/05 23:40
2F：推 TitanEric: 3小时好久… 觉得没效率 12/06 00:05
3F：→ TitanEric: 应该有像楼上讲的API可以用没有错 12/06 00:05
4F：→ why702: 有现成的，有办法把所需的数据给我自由运算的吗？ 12/06 00:53
5F：推 neil987: stocktw 12/06 03:37
6F：推 coeric: 是楼上说的这网站吗？改天来挑战看看～～ 12/06 09:45
7F：推 wennie0433: github twstock 12/06 21:19
8F：→ why702: 喔！ 这个我看过，写得很好，但是少了一些资讯，所以我只 12/07 00:31
9F：→ why702: 好自己爬 12/07 00:31
10F：推 rexyeah: 很好奇为何爬3hr..我爬了8个页面还加上运算後在google 12/07 12:39
11F：→ rexyeah: sheet上纪录，还做了枢纽与画图也不用3分钟啊 12/07 12:40
12F：→ rexyeah: btw, 我只纪录了14个指标啦 12/07 12:41
13F：→ why702: 因为那个网站把历史数据全部放上去，读取解析那海量数据 12/07 18:51
14F：→ why702: 花很多时间 12/07 18:51
15F：→ why702: 有兴趣我可以把git给您参考，看有没什麽建议？ 12/07 18:52
16F：推 koshi0413: 可以学我把历史资料爬完後，下来用SQL分析，快不少 12/07 20:19
17F：→ why702: 我就是这样做没错，但还是每天要更新 12/08 18:53