作者qas612820704 (Lego)
看板Python
標題[問題] 爬網頁 包含圖片,css,js
時間Tue Mar 10 17:14:37 2015
我想要把網頁的頁面包含裡面的圖片,css,js都載下來
我Google了半天 我都只找到 只爬網頁的內容下來
只有爬網頁下來 但是我想一併連local的css js 一起載下來
像是firefox Ctrl+S 載下來的東西 可是要載的有點多
無辦法一個一個用firefox載
請問有什模辦法可以達成嗎?
--
1F：→ MOONRAKER: 把他刪掉不就知道了08/23 23:37
2F：→ MOONRAKER: 不知道某一行在幹嘛，就把他刪掉，再跑一次08/23 23:38
3F：→ MOONRAKER: 不知道腳踏車座墊有什麼用，把他拔掉騎一次就知道了08/23 23:39
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.120.73.126
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1425978882.A.FDE.html
4F：→ IAMPF: wget -p <url> 03/10 17:55
5F：→ mars90226: 你是想用Python寫，還是一般工具? 03/10 18:49
6F：→ mars90226: 用Python的話，你要自己針對每一個連結去把他載下來 03/10 18:50
7F：→ mars90226: 瀏覽器在做的事也是看到連結以後再去下載 03/10 18:50
8F：→ qas612820704: 那有什摸套件 可以用嗎？ 03/10 19:56
9F：→ qas612820704: 我用requests只有html file 03/10 19:58
10F：推 yan12125: 如果不限純python可以試試看phantomjs 03/10 21:18
11F：→ qas612820704: 我是要用django來寫這個功能 所以希望是python或是 03/11 00:23
12F：→ qas612820704: 可以用command去call的方法 03/11 00:23
13F：→ u1240976: 用 beautifulsoup 去把 html file 的 css/js 的 url抓出 03/12 00:57
14F：→ u1240976: 再個別 request 每個 url 就可以抓到 03/12 00:58
15F：→ u1240976: 基本上瀏覽器也是這樣做,每個檔案都要個別發httprequest 03/12 01:01