作者Thisisnotptt (这不是PTT)
看板Python
标题[问题]爬虫问题
时间Sat Aug 24 10:31:51 2013
小弟最近想练习python的抓站功能，目的是每天定时抓取记忆体颗粒网站的价格
但是小弟功力尚浅，怎麽捞都只捞到 "loading...." 捞不到载入过後的表格内文
小弟尝试加入等待时间，但是不是很有效，以下是程式码，请问该如何抓取载入
後的内文呢?
网站: DRAMeXchange
网址:
http://www.dramexchange.com/#memory
小弟抓到的状况都是如图右，在入中的程式码，加入延迟後还是得不到图左的内文
图片:
http://www.imgur.com/a7zmgyM.jpg
----
# -*- coding: utf-8 -*-
import urllib2
from bs4 import BeautifulSoup
opener = urllib2.build_opener()
URL = '
http://www.dramexchange.com/#memory'
Header = [('User-Agent', 'Mozilla/5.0')]
Req = urllib2.Request(URL)
Req.addheaders = Header
Res = opener.open(Req)
Html = Res.read()
soup = BeautifulSoup(Html)
MidFrame = soup.find_all('div', class_='left_tab') // data 位置
print MidFrame[0] // 先只取第一个Frame
---
执行後可以看到倒数第9行左右 显示:
<tr>
<td align="center" colspan"12">
<img scr ="Common/Images/ajax_loading.gif"/>
<br/>
loading.....
<font color="#FFFFFF">DDR3 2G 256Mx8 1333MHz, DDR3 2Gb 256Mx8 eTT,<br/>
DDR3 1Gb 128Mx8 eTT, DDR3 1Gb 128Mx8 1333Mhz<br/>
.
.
.
.
.
请问该怎麽抓到该处Loading後的DATA呢?
谢谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.122.141.131
※ 编辑: Thisisnotptt 来自: 140.122.141.131 (08/24 10:35)
1F：推 z101924512:试试看ghost.py 08/24 12:08