作者caty1010 (Lucas)
看板Python
标题Re: [问题] 机票网站爬虫问题
时间Sun May 27 21:50:56 2018
原文恕删~
我刚使用python requests 来做实验
发现可以抓到你想要的资料~
想法是:
感觉呈现资料的页面
跟ajax的呼叫 可能会存在cookie验证关系
所以 就先get一下search页面 (html)
再去post ajax的url (json)
以下烂code 大大们请指教
以2018-06-28日期, TPE to OKA为例 (可恶想去...)
session = requests.Session()
index_url = '
https://www.ctrip.com.hk/flights/taipei-to-okinawa/tickets-tpe-oka/?flighttype=s&dcity=tpe&acity=oka&startdate=2018-06-28&class=y&quantity=1&searchboxarg=t'
index_content = session.post(index_url,verify=False)
header = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
'origin': '
https://www.ctrip.com.hk',
'referer': index_url
}
flight_api_url = '
https://www.ctrip.com.hk/flights/Ajax/SearchFlight'
param = {'context':'{"SearchNo":"1","FlightWay":"OW","SubChannel":"0","SearchToken":"1","Class":"Y","SegmentParameterList":[{"DCityCode":"TPE","ACityCode":"OKA","DDateString":"2018-06-28"}],"TravelerParameteList":[{"TravelerType":"ADT","TravelerCount":"1"},{"TravelerType":"CHD","TravelerCount":"0"},{"TravelerType":"INF","TravelerCount":"0"}]}'}
SearchResult = session.post(flight_api_url,verify=False,headers=header,data=param).json()
#没有意外的话 SearchResult 印出来就是你要的json了
我的环境是python 2.7
上面的search条件 请你自己再加以修改
应该就可以开始爬其他天 或是 其他机场 的资料了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.13.194.3
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1527429062.A.500.html
1F：推 rs6000: 推 05/28 07:31
2F：推 TakiDog: 结论selenium根本再搞自己!? 05/28 10:30
3F：→ caty1010: 只能说selenium 在这个case上比较不适合 05/28 12:26
4F：→ caty1010: 替selenium平反一下, 加注sleep後也可以抓到资料 05/28 12:37
6F：推 haru97724: 有~~我有试出来惹(人′∀`)♪大感谢~~ 05/28 19:49
7F：→ haru97724: 我一开始用selenium是因为要拿他的cookie。结果好像也 05/28 19:49
8F：→ haru97724: 不用这麽麻烦XDDD 05/28 19:49