作者suhang (suhang)
看板Web_Design
标题[问题] Unicode Decode Error
时间Wed Oct 29 13:28:18 2014
我写了一个crawler爬网页
按照view page source <meta content="text/html; charset=Big5">
我用Big5 解码回传的 byte string
Python却回应某些byte无法解码
UnicodeDecodeError: illegal multibyte sequence
1
浏览器也是设定Big5解码
那为什麽浏览器可以正确的显现所有内容?
2
我试着用utf8瞎猜去解码，一样有error
请问我该如何处理这个错误而能显示我所抓下来的网页?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.169.54.91
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Web_Design/M.1414560500.A.39C.html
1F：推 LPH66: 什麽网页? 10/29 22:10
2F：推 mmis1000: python内建的decoder很suck，不会略过错误的字元 10/30 02:05
3F：→ mmis1000: 几乎无法使用，去找替代的lib如何？ 10/30 02:06
4F：→ mmis1000: 好吧，其实有忽视错误的参数 10/30 02:10