作者haru97724 (haruru)
看板Python
标题[问题] 机票网站爬虫问题
时间Sat May 26 17:16:43 2018
大家安安~~
我最近开始学python，想要爬机票的资料
因为不是资工相关科系的学生，所以我目前都是看网路上的教学学的
我目前是用selenium爬ctrip的网站
https://www.ctrip.com.hk/flights/
按下搜寻後，在检查的network那边会有机票的资料被存在SearchFlights的XHR里面
这里会有两个都是叫SearchFlights的XHR
有一个是一开始就有，但他只有头几笔资料
另一个要等一阵子，这个才有全部资料
http://i.imgur.com/VrVUUB5.jpg
我用selenium打开之後，对他requests.post
因为request的url都一样，所以出来都只给我头几笔资料的那个
在他请求的参数里面是有seaechToken不一样
但改了之後，回给我的资料还是只有头几笔
所以想问各位大大，遇到这种会延迟的该怎麽爬??
有没有办法让他回传所有机票资料
因为让他sleep也没用...
不好意思，麻烦大家了
・ﾟ・(｡>Д<｡)・ﾟ・
・ﾟ・(｡>Д<｡)・ﾟ・
-----
Sent from JPTT on my Asus ASUS_Z016D.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.71.68.128
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1527326206.A.AEA.html
※ 编辑: haru97724 (111.71.68.128), 05/26/2018 17:22:29
1F：→ tlaceruse: 两阶段post的参数一样吗05/27 10:07
post的参数只有searchToken不一样，但改了结果还是一样。
2F：推 TakiDog: 档案要等，会在网页元素中出现就写个回圈等元素载入完，05/27 17:18
3F：→ TakiDog: 或是考虑纯封包别用selenium搞不好简单的多05/27 17:18
可是如果等他跑完，我再request一次，这样不就又重新来一次了吗?
我去研究一下不用selenium的方法XDD
※ 编辑: haru97724 (111.71.68.128), 05/27/2018 18:33:50