作者shadowjohn (Somebody Help Me)
看板Python
标题Re: [问题] Python抓露天网页的疑问
时间Tue Mar 1 20:17:05 2011
※ 引述《flywindy2002 (巧克力)》之铭言：
: 大家好~
: 小女子是研究Python的超级新手>"<
: 之前本来有用JAVA写抓网页的程式
: 但是因为效能问题和露天抓不到(不知道是被档还是什麽)
: 所以正在研究Python抓露天
: 想先测试一下
: 所以写了以下简单的程式
:
: import urllib2
: page = urllib2.urlopen('http://www.ruten.com.tw/')
: for line in page:
: print line
:
: 当网址是YAHOO和GOOGLE都没问题
: 但是改成露天就会出现以下的问题
: Access Deny!! Detect your Browser to install malicious plug-in or Illegal
: access. (A999)
: 尝试Google了一下也找不到答案
: 希望能有高手帮忙解惑 Q_Q
: 非常感谢!!!
import urllib2
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
url = "
http://www.ruten.com.tw/"
req= urllib2.Request(url,"",headers)
response = urllib2.urlopen(req)
content = response.read().split("\n")
for line in content:
print line
#break
#试看看吧^_^~
--
3WA训练家的工作室
宗旨：诸葛单中，谢谢
个人布弱格 网址：
http://3wa.tw
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 123.240.117.97