作者hsiaoeddie (eddie)
看板Python
标题[问题] 关於requests.get中的header
时间Wed Dec 26 23:05:23 2018
大家好,小妹我最近在学习爬虫的时候常常遇到requests.get()找不到全部的<tag>的情况。
Google了一下後发现是某些内容是需要在get中加入header才会跑出来。但问题就来了,我要怎麽知道我要爬的区域的header是哪一部分?
有什麽方法是可以由网页内容直接判定所属的header的吗?
求大家帮帮忙~ 感激不尽
-----
Sent from JPTT on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.205.14.121
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1545836726.A.246.html
1F:推 f496328mm: 一律全加header,这才是好习惯 12/26 23:08
重点是我不知道我要抓的内容是属於哪个header
※ 编辑: hsiaoeddie (123.205.14.121), 12/26/2018 23:30:25
2F:→ s860134: 否 没有这种方法 完全看 server 撰写者高兴 12/26 23:35
3F:→ s860134: 伺服器我架的,想检查甚麽就检查甚麽,乖乖送就是唯一解 12/26 23:36
4F:推 nini200: 浏览器看的到 python抓不到 大概就要加header了 参考一下 12/27 00:50
5F:推 nini200: 然後全加 就妥妥的了 12/27 00:54
6F:→ TakiDog: 浏览器送什麽就仿什麽,全仿下来快乐没烦恼 12/27 08:49
7F:推 hoho8: 伺服器:我全都要 12/27 15:46