作者suhang (suhang)
看板Web_Design
标题Re: [问题] Unicode Decode Error
时间Thu Oct 30 15:00:36 2014
※ 引述《suhang (suhang)》之铭言：
: 标题: [问题] Unicode Decode Error
: 时间: Wed Oct 29 13:28:18 2014
:
: 我写了一个crawler爬网页
: 按照view page source <meta content="text/html; charset=Big5">
: 我用Big5 解码回传的 byte string
: Python却回应某些byte无法解码
: UnicodeDecodeError: illegal multibyte sequence
:
: 1
: 浏览器也是设定Big5解码
: 那为什麽浏览器可以正确的显现所有内容?
:
: 2
: 我试着用utf8瞎猜去解码，一样有error
: 请问我该如何处理这个错误而能显示我所抓下来的网页?
:
: --
:
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.169.54.91
: ※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Web_Design/M.1414560500.A.39C.html
: 推 LPH66: 什麽网页? 10/29 22:10
: 推 mmis1000: python内建的decoder很suck，不会略过错误的字元 10/30 02:05
: → mmis1000: 几乎无法使用，去找替代的lib如何？ 10/30 02:06
: → mmis1000: 好吧，其实有忽视错误的参数 10/30 02:10
: → mmis1000: http://goo.gl/DQnZw7 10/30 02:15
谢谢你的连结
我加了 ignore 绕过
但是这样似乎有点治标不治本
有办法update python big5 codec吗?
或是有third-party package 可以 import之後解码吗?
thanks
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.169.54.91
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Web_Design/M.1414652438.A.655.html
2F：→ mmis1000: btw 大部分软体跟浏览器的标准行为，是把不认识的字 10/30 15:42
4F：推 LPH66: 还有一个可能是其实浏览器是认得某些内容的 10/30 16:00
5F：→ LPH66: 也就是浏览器使用的解码表跟你用的解码表不一样 10/30 16:01
6F：→ LPH66: (这也是原 PO 的问题) 这种解法一般是自己去找份解码表来用 10/30 16:02
7F：→ LPH66: 例如 PCMan 就是自己准备解码表的 10/30 16:02