作者percentage (九)
看板Python
标题[问题] 用urllib.request抓网页的问题
时间Mon May 6 12:44:16 2013
各位大大好,小弟最近刚接触python没多久
最近尝试使用urllib.request来抓取网站资料...
打算抓下来之後,再利用lxml等package来分析内容,看网页有无变化。
然而,我照最基本的教学练习时,就却出现了以下的状况。
===================================================
先利用这段script抓网页
===================================================
import urllib.request as url
fh = url.urlopen('
http://www.python.org')
content = fh.read().decode('utf8')
with open('test', 'w') as fd:
fd.write(content)
===================================================
再利用lxml监控内容
===================================================
import lxml.etree as ET
tree = ET.parses('test')
^^^^^^
每次一做到这行的时候,就会出现lxml.etreeSyntaxError, ndash not defined
...
...
...
想请问各位大大,遇到网页里有特殊字元的时候,是要如何处理呢?
又或是大大们有建议别的、更好的监控网页变化的方法?
谢谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.112.18.213
1F:→ swpoker:特殊字元 : errors = 'ignore' 无视错误 05/06 13:23
2F:→ swpoker:很多的html就不是合法的xml,可是浏览器还是可以,所以.. 05/06 13:24