作者piyieen (Nightshift24)
看板Python
標題[問題] 爬蟲網頁
時間Mon Jun 11 17:26:38 2018
小的是剛學python的新手
想請教一下
如果要一次爬很多網頁收集成資料庫的話
讀取網頁的code
是用for迴圈的方式嗎
還是有什麼比較常用的方法
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.46.173
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1528709200.A.936.html
1F：→ neil987: YT有很多教學 先從簡單的開始 06/11 17:37
2F：→ Jyery: 先學會逛github stackoverflow 06/11 23:33
3F：→ zo6596001: 除了迴圈還能怎麼做... 06/12 01:28
4F：→ zo6596001: 我是把要爬的網頁做成一個list，然後for each 一個一個 06/12 01:29
5F：→ zo6596001: 慢慢抓。 06/12 01:29
6F：→ zo6596001: 另一個不是動態網頁，則是直接改url的編號，一個一個抓 06/12 01:30
7F：→ zo6596001: 我寫過2個爬蟲，一個抓即時價格，一個載圖圖。 06/12 01:31
謝謝分享 用了一天終於跑完了 for迴圈滿快的!
8F：→ kobe8112: yield 06/12 08:43
※ 編輯: piyieen (42.72.123.55), 06/12/2018 17:14:18
9F：推 handsomeLin: 用while loop阿然後DFS or BFS爬 06/13 19:58