作者MOONY135 (談無慾)
看板Python
標題[問題] bs4抓取資料問題
時間Wed Jul 29 12:18:26 2015
我想從網頁版的ptt抓取資料 每篇文章的 作者跟發文日
還有文章的網頁
import requests
from bs4 import BeautifulSoup
import sys
res_index = requests.get("
https://webptt.com/m.aspx?n=bbs/gamesale/index.html")
soup_index = BeautifulSoup(res_index.text,"html.parser") #抓每篇文章的URL聯結
main_container_index = soup_index.select('.r-ent')
for link in main_container_index:
print(link.select('div.author')[0].text, link.select('div.date')[0].text)
print(link.find('a')['href'])
我有疑問的是print(link.find('a')['href'])這行
因為我想要抓網址 但一定要這樣寫才可以抓到
a href="/bbs/Gamesale/M.1438136421.A.732.html"
這行 不知道大家可以幫我解釋一下為甚麼要這樣寫嗎
=================以下是網頁長相
thireh 7/29
<div class="title">
<a href="/bbs/Gamesale/M.1438136421.A.732.html">[PC ] 售mycard 點數85折</a>
</div>
DREAMLS 7/29
<div class="title">
<a href="/bbs/Gamesale/M.1438137518.A.6A3.html">[PSV ] 售/換 psv2007(青檸白）
+16g記憶卡+六片超值遊戲</a>
</div>
CTC0115 7/29
<div class="title">
<a href="/bbs/Gamesale/M.1438137532.A.B0E.html">[PS3 ] 售 VR快打5 </a>
</div>
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.227.123.103
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1438143508.A.997.html
1F：→ s860134: 先了解 html可以依照他的tag (<a></a>,<div></div>這些) 08/01 17:02
2F：→ s860134: 可以被解讀成一個樹狀結構，而bs4就是幫你把建樹和搜尋 08/01 17:02
3F：→ s860134: 整合在一起的一個package。 08/01 17:03
5F：→ MOONY135: 感恩 08/02 21:24