作者ireullin (raison detre)
看板Ruby
标题[问题] net/http 的 bug?
时间Tue Apr 21 14:21:50 2015
我正在爬取一些资料
执行了下面程式码之後
rsp.code 为301 redirect
照理说Location的栏位应该是 (我使用fiddler观察的)
http://www.amazon.com/Ravelli-ATD-Professional-Tripod-Camera/dp/B000YB862E/ref=redir_mobile_desktop?ie=UTF8&keywords=Camera%2C%20Photo%20%26%20Video&pi=AC_SX110_SY165_QL70&qid=1429517964&ref_=mp_s_a_1_1&sr=8-1
但我取出来之後还是原本的
http://www.amazon.com/gp/aw/d/B000YB862E/ref=mp_s_a_1_1?qid=1429517964&sr=8-1&pi=AC_SX110_SY165_QL70&keywords=Camera%2C+Photo+%26+Video
这样我没办法进行redirect的动作 冏rz
是我弄错了吗
还是真的有bug
是否有人遇到相同问题?
程式码如下
uri =
'
http://www.amazon.com/gp/aw/d/B000YB862E/ref=mp_s_a_1_1?qid=1429517964&sr=8-1&pi=AC_SX110_SY165_QL70&keywords=Camera%2C+Photo+%26+Video'
req = Net::HTTP::Get.new(URI(uri))
rsp = Net::HTTP.start(uri.hostname, uri.port) {|http| http.request(req) }
puts rsp.code
puts rsp.header['Location']
puts rsp.header.to_hash.to_json
以下是我使用的版本
$ ruby --version
ruby 2.1.2p95 (2014-05-08 revision 45877) [x86_64-linux]
$ gem list | grep http
em-http-request (1.1.2)
http_parser.rb (0.6.0)
httpclient (2.6.0.1)
httpi (2.4.0)
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.136.6.171
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Ruby/M.1429597313.A.29B.html
1F：→ ireullin: 自己解决了,需要在header中另外在塞入cookie 04/21 17:49
2F：→ ireullin: 才会回覆正确的资讯，麻烦大家了，谢谢 04/21 17:50