作者liwenhuang (杂)
看板Python
标题[问题] 使用requests post爬虫问题
时间Thu Sep 1 00:23:28 2016
大家好
最近在爬钜亨网买卖超排名的资料时遇到一点问题
(网址:
http://www.cnyes.com/twstock/a_QFII9.aspx)
我的目的是要抓集中市场以及店头市场某一天的资料
使用以下的方法来request资料
market = ["TSE", "OTC"]
session_html = requests.session()
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
formdata_market = {"__VIEWSTATE":viewstate,
"__VIEWSTATEGENERATOR":viewstategenerator,
"__EVENTVALIDATION":eventvalidation,
"ctl00$ContentPlaceHolder1$D1":market[0],
"ctl00$ContentPlaceHolder1$D3":"2016-08-29"}
html_market = session_html.post(url, headers = header, data = formdata_market)
对於集中市场的资料在抓取上没有问题
但是当要抓取店头市场某一天的资料时, 却只能抓到当天的资料(选单上的第一个日期)
请问这个问题有什麽方法可以解决呢
谢谢各位
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.193.120.45
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1472660610.A.8C0.html
1F：推 hoho8: 更改参数日期再重新request? 09/01 06:16
2F：→ liwenhuang: 似乎是只要改了市场参数到OTC後，日期不管改哪一天都 09/01 09:49
3F：→ liwenhuang: 会回传选单上第一天的资料.. 09/01 09:49