作者neil987 (R5大小姐-EX人品崩壞)
看板Python
標題Re: [問題] 股票交易爬蟲問題
時間Tue May 23 03:55:52 2017
※ 引述《a00880022 (QQ)》之銘言：
: 大家好
: 小弟最近接觸爬蟲
: 想要從 台灣證券交易所
: http://www.twse.com.tw/ch/trading/exchange/STOCK_DAY/STOCK_DAYMAIN.php
: 爬取過去每天的收盤價
: 但由於不熟悉網頁架構
: 在爬取的時候不知道怎麼從python輸入input給網頁然後抓取資料
: 附上目前程式碼
: ------------------------------------
: import requests
: from bs4 import BeautifulSoup
: payload={}
: date=('download=&query_year=2017&query_month=5&CO_ID=1101&query-button=%E6%9F%A5%E8%A9%A2')
: res=requests.post('http://www.twse.com.tw/ch/trading/exchange/STOCK_DAY/STOCK_DAYMAIN.php',data=date)
: print (res.text)
: ------------------------------------
: 我是利用一個date值存入年月以及股票編號想要回傳給網頁
: 但print出來的值好像接收不到(無法讀取table)
: 想要請大神們就救我這個新手
: google了一整天還是找不到個結果...
post丟payload要用dict type
payload={"query_year":"2017",
"query_month":"5",
"CO_ID":"2317",
"query-button":"%E6%9F%A5%E8%A9%A2"
}
res = requests.post(url, data = payload, headers = headers)
print res.text
再來就丟soup就好
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.68.10.154
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1495482956.A.99E.html
1F：推 a00880022: 感謝大神!! 05/23 04:56
2F：推 a00880022: 小小p幣不成敬意>< 05/23 05:00
3F：推 orafrank: 只要收盤價可以從雅虎要 05/24 15:02
4F：推 nikolas: yahoo finance 跟 google finance api 之前有段時間 05/26 12:07
5F：→ nikolas: data 沒有跟證交所同步 整個星期都是錯的 05/26 12:09