Python 板


LINE

------ 目前已解決----- 有熱心的版友跟我站內信後 發現是網頁編碼的問題 站內給我修改過的code 是可以抓的,非常感謝這位版友 也謝謝底下各位的推文與建議 Q_Q ----------------------- 各位版上的前輩們好: 昨天晚上臨時想寫一個小爬蟲 抓一個日本網站上的圖片 作業環境:windows 8.1 python版本:3.7.0 我是直接用Notepad++ 寫 用windows console 下指令去執行 結果遇到有圖片是用日文命名 導致UnicodeEncodeError 錯誤訊息截圖:https://imgur.com/Zw5wXnn (這個截圖不知道有沒有用,沒用的話我再刪掉) Code:https://pastebin.com/681VVgzb 我只擷取抓圖片那邊的code 前面的code都只是過濾找出img的tag而已,應該是沒問題 然後用成 "http://abc.jpg"丟到urlretrieve抓到我設定的資料夾 這個方法也是我在網路上找到的 主要是i['src'] 會有日文字出現 (日文命名的圖片檔) 下面那一行key 是我之前專題的組員時候,要用指令下關鍵字(中文) 丟到該網站搜尋,把搜尋的結果抓下來 當時發現網址會把關鍵字轉成%B2%R2%45類似這樣 我的組員使用urllib.parse.quote將中文轉成那樣併入url 我參考組員的code 因為我想要轉成%xx%bb這個樣子 丟到urlretrieve抓 但是先試印出來的結果不太對 圖片:https://imgur.com/TT3VYAH 圖片網址在瀏覽器上直接是http://xxx.com/日文4.jpg 我擷取後半日文.jpg 貼在記事本 比對用quote印出來 (console) 發現整個不一樣... 因為有試過用記事本的網址貼到瀏覽器,可以正確顯示那個圖片 但quote不一樣也無解 我在stackoverflow 也試著用關鍵字爬過 其中這一篇:https://goo.gl/JYJrgW 提到windows的狀況 難道只能修改作業系統或是跳槽到linux嗎.... 沒有只改code就能解決的辦法嗎 這個問題意想不到我弄了一個晚上到現在都還沒用好 還麻煩有類似經驗的大大幫忙了,謝謝 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.123.238.66
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1532837695.A.65D.html
1F:推 eight0: 既然是 quot 的問題,你應該把 quot 相關的程式碼貼上來 07/29 15:59
e大,你說的quot 難道是指我用的quote << 不過這個我也只有用那一行 ※ 編輯: laiDark (140.123.238.66), 07/29/2018 16:22:37
2F:→ coeric: 檔名是日文應該是沒問題 07/29 18:46
3F:→ coeric: 忘了我是Linux,windows我就不知道了..... 07/29 18:46
4F:→ coeric: 用utf-8應該是沒問題阿 07/29 18:47
5F:→ coeric: 應該是在cmd視窗下的關係 那是big5 07/29 18:51
c大,有版友建議我cmd改utf8~ 但結果還是一樣QQ
6F:推 TitanEric: 用Ubuntu on bash一切問題就解決 powershell一樣會有編 07/29 19:10
7F:→ TitanEric: 碼問題 07/29 19:10
※ 編輯: laiDark (140.123.238.66), 07/29/2018 19:21:46
8F:→ stucode: 應該跟 cmd 的 encoding 無關,更何況 3.6 過後 Windows 07/29 20:24
9F:→ stucode: 也預設是 UTF-8。 07/29 20:24
※ 編輯: laiDark (140.123.238.66), 07/29/2018 20:30:31
10F:→ stucode: https://i.imgur.com/pDP8h6m.png 07/29 20:27
11F:→ coeric: cmd我倒是沒改過,但因為我曾經在windows遇過無解的 07/29 20:30
12F:→ coeric: 就試著強迫自己改Linux,似乎問題就直接解了 07/29 20:30
13F:→ coeric: code預設utf-8沒問題 但有時在print(show)時 會出事 07/29 20:31
c大,因為我是昨晚臨時想寫,就沒有另外裝linux ~ (python notepad++ 都是昨天才裝的XD) 只是這支程式是想要給其他朋友使用,才在windows底下寫 我也是第一次在windows下寫python,不然我之前都是用linux 只是那台linux電腦壞掉,現在也是用筆電先墊著.... ※ 編輯: laiDark (140.123.238.66), 07/29/2018 20:37:22
14F:→ coeric: 我用Linux主機定期抓檔,很常遇到日文,都沒問題照樣存檔 07/29 20:32
15F:推 stucode: Windows 下的文字編碼問題有時候的確蠻麻煩的,經驗上 07/29 20:42
16F:→ stucode: 主要都在顯示方面,所以我後來幾乎都直接寫進 log 檔。 07/29 20:42
17F:→ coeric: 所以後來我把顯示(print)部份拿掉,大多是沒問題 07/29 23:44
18F:推 Yshuan: log到file +1 07/30 10:32







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:BuyTogether站內搜尋

TOP