作者TZULIU (消費券收購商)
看板Python
標題[問題] Scrapy無法抓取資料
時間Mon Jul 10 13:48:04 2017
小弟最近在練習使用Scrapy，在網路上找了一個練習範本如下：
https://www.youtube.com/watch?v=w4PPlkJFzCo
前半段運作沒有任何問題，
但當開始使用 yield scrapy.Request 的時候卻發現spider沒有爬取到資料，
想請問各位高手原因為何？
程式碼如下：
import scrapy
from bs4 import BeautifulSoup
class Apple1Spider(scrapy.Spider):
name = 'apple'
allowed_domains = ['appledaily.com']
start_urls = ['
http://www.appledaily.com.tw/realtimenews/section/new/']
def parse(self, response):
domain = "
http://www.appledaily.com.tw"
res = BeautifulSoup(response.body)
for news in res.select('.rtddt'):
yield scrapy.Request(domain + news.select('a')[0]['href'],
callback=self.parse_detail)
def parse_detail(self, response):
res = BeautifulSoup(response.body)
print(res.select('#h1')[0].text)
我所使用的版本為Python3.6.1，
謝謝。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.40.106.213
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1499665687.A.E59.html
※ 編輯: TZULIU (114.40.106.213), 07/10/2017 14:00:58
1F：→ coeric: scrapy不給裝 用requests撈 沒啥問題 07/10 18:01