作者ggbast (GG)
看板Ajax
标题[问题] 爬虫遇到statusCode=302相关问题
时间Tue Sep 11 20:06:52 2018
最近在爬一些网页蒐集资料
偶尔会遇到网页需要重新导向的问题
我用chrome浏览器看到的详细如下
前往网站A得到回应的status code = 302
并且会在response header里面的location
放入重新导向的目的地网站B的网址
但是实际用爬虫下去跑会发现
前往网站A取得的回应里面看不到
response header里面的location
却直接得到了最後导向的网站B内容
感觉上好像是程式自己做做了重新导向这件事
有没有办法正常让爬虫取得那个location呢？
我的环境是nodejs
使用模组是request跟request-promise
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.13.49.98
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Ajax/M.1536667615.A.E01.html
1F：→ dododavid006: options 加上 followRedirect: false09/11 20:34
感谢大大的开示
回头去看request的readme还真的有这个选项，当初真的是眼瞎了XD
※ 编辑: ggbast (175.96.115.207), 09/12/2018 16:51:35