Python 板


LINE

大家好,初学爬虫 最近需要在https://www.taiwanmobile.com/mobile/storelbs/lbs.html# 撷取店点相关资讯 爬之前的文章发现header似乎是问题所在 於是把header全部放进去,但好像没有用... 想请教各位大大该如何克服呢?感恩 程式码如下: form_data = {"city":"台北市", "district":"松山区", "lat":"25.0464207", "lng":"121.5555859", "searchDistance":"-1"} headers = {"Accept":"application/json, text/javascript, */*; q=0.01", "Accept-Encoding":"gzip, deflate, br", "Accept-Language":"zh-TW,zh;q=0.8,en-US;q=0.6,en;q=0.4", "Connection":"keep-alive", "Content-Length":"127", "Content-Type":"application/x-www-form-urlencoded; charset=UTF-8", "Cookie":"_msuuid_558dza12683=D58CE660-772F-4345-A7C6-B1B732FB85F0; \ JSESSIONID=nt+dIYPkeJGODFLtAALzUKsu; _ga=GA1.2.142560397.1498299011; \ _gid=GA1.2.594796640.1506128988", "Host":"www.taiwanmobile.com", "Origin":"https://www.taiwanmobile.com", "Referer":"https://www.taiwanmobile.com/mobile/storelbs/lbs.html", "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWe\ bKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36", "X-Requested-With":"XMLHttpRequest"} response_post = requests.post("https://www.taiwanmobile.com/mobile/stor\ elbs/lbs.html#", data = form_data, headers=headers) response_post.encoding = 'utf-8' soup_post = BeautifulSoup(response_post.text, "lxml") --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.241.210.128
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1506157839.A.F0D.html
1F:推 vi000246: headers有些看起来像乱码的 有时是发起请求时才产生 09/23 23:16
2F:→ vi000246: 你直接写死有些网站会挡 因为不是当下产生的header 09/23 23:16







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:BabyMother站内搜寻

TOP