Python 板


LINE

大家好,初學爬蟲 最近需要在https://www.taiwanmobile.com/mobile/storelbs/lbs.html# 擷取店點相關資訊 爬之前的文章發現header似乎是問題所在 於是把header全部放進去,但好像沒有用... 想請教各位大大該如何克服呢?感恩 程式碼如下: form_data = {"city":"台北市", "district":"松山區", "lat":"25.0464207", "lng":"121.5555859", "searchDistance":"-1"} headers = {"Accept":"application/json, text/javascript, */*; q=0.01", "Accept-Encoding":"gzip, deflate, br", "Accept-Language":"zh-TW,zh;q=0.8,en-US;q=0.6,en;q=0.4", "Connection":"keep-alive", "Content-Length":"127", "Content-Type":"application/x-www-form-urlencoded; charset=UTF-8", "Cookie":"_msuuid_558dza12683=D58CE660-772F-4345-A7C6-B1B732FB85F0; \ JSESSIONID=nt+dIYPkeJGODFLtAALzUKsu; _ga=GA1.2.142560397.1498299011; \ _gid=GA1.2.594796640.1506128988", "Host":"www.taiwanmobile.com", "Origin":"https://www.taiwanmobile.com", "Referer":"https://www.taiwanmobile.com/mobile/storelbs/lbs.html", "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWe\ bKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36", "X-Requested-With":"XMLHttpRequest"} response_post = requests.post("https://www.taiwanmobile.com/mobile/stor\ elbs/lbs.html#", data = form_data, headers=headers) response_post.encoding = 'utf-8' soup_post = BeautifulSoup(response_post.text, "lxml") --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.210.128
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1506157839.A.F0D.html
1F:推 vi000246: headers有些看起來像亂碼的 有時是發起請求時才產生 09/23 23:16
2F:→ vi000246: 你直接寫死有些網站會擋 因為不是當下產生的header 09/23 23:16







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:e-shopping站內搜尋

TOP