作者neil987 (R5大小姐-EX人品崩坏)
看板Python
标题Re: [问题] 股票交易爬虫问题
时间Tue May 23 03:55:52 2017
※ 引述《a00880022 (QQ)》之铭言：
: 大家好
: 小弟最近接触爬虫
: 想要从 台湾证券交易所
: http://www.twse.com.tw/ch/trading/exchange/STOCK_DAY/STOCK_DAYMAIN.php
: 爬取过去每天的收盘价
: 但由於不熟悉网页架构
: 在爬取的时候不知道怎麽从python输入input给网页然後抓取资料
: 附上目前程式码
: ------------------------------------
: import requests
: from bs4 import BeautifulSoup
: payload={}
: date=('download=&query_year=2017&query_month=5&CO_ID=1101&query-button=%E6%9F%A5%E8%A9%A2')
: res=requests.post('http://www.twse.com.tw/ch/trading/exchange/STOCK_DAY/STOCK_DAYMAIN.php',data=date)
: print (res.text)
: ------------------------------------
: 我是利用一个date值存入年月以及股票编号想要回传给网页
: 但print出来的值好像接收不到(无法读取table)
: 想要请大神们就救我这个新手
: google了一整天还是找不到个结果...
post丢payload要用dict type
payload={"query_year":"2017",
"query_month":"5",
"CO_ID":"2317",
"query-button":"%E6%9F%A5%E8%A9%A2"
}
res = requests.post(url, data = payload, headers = headers)
print res.text
再来就丢soup就好
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 219.68.10.154
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1495482956.A.99E.html
1F：推 a00880022: 感谢大神!! 05/23 04:56
2F：推 a00880022: 小小p币不成敬意>< 05/23 05:00
3F：推 orafrank: 只要收盘价可以从雅虎要 05/24 15:02
4F：推 nikolas: yahoo finance 跟 google finance api 之前有段时间 05/26 12:07
5F：→ nikolas: data 没有跟证交所同步 整个星期都是错的 05/26 12:09