作者WENroger (666)
看板Python
標題[問題] 爬蟲自動更新程式
時間Wed Sep 19 16:36:26 2018
手機排版請見諒!!!!
是這樣的如題
小弟最近想寫一個爬蟲自動更新程式
程式有以下目的
例如：
我今天爬觀光局網站
將全部景點資訊爬下
過了一個月後觀光局多了10個新的景點
我可以透過這個程式讓爬蟲自動執行
並把這10個新的景點爬下來
請問這個程式是我需要另外再寫一個
還是我可以在python做出一樣目的？
另外就是我該從哪一方面的資訊去起手？
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.158.107.59
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1537346188.A.14C.html
1F：→ gmccntzx1: 你都說了「找了很多資料不太容易吸收」，何不試著講出09/19 16:44
2F：→ gmccntzx1: 哪些部份不懂？09/19 16:44
3F：→ gmccntzx1: 將那些不了解的部份整理成問題發上來問，讓大家幫你釐09/19 16:45
4F：→ gmccntzx1: 清觀念，這樣才能學到東西。09/19 16:45
5F：→ gmccntzx1: 不然找了資料給你，大家怎麼知道哪些是你「容易吸收」09/19 16:46
6F：→ gmccntzx1: 的呢？09/19 16:46
8F：推 cutekid: 推樓上 g 大分享的「提問的智慧」09/19 16:58
9F：→ WENroger: 感謝指教 應該說不知哪裡起手09/19 21:32
※ 編輯: WENroger (49.158.107.59), 09/19/2018 21:50:01
10F：→ gmccntzx1: 講明確一點，是不知道怎麼寫爬蟲還是不知道怎麼做到讓 09/19 22:18
11F：→ gmccntzx1: 爬蟲定時更新？ 既然你都說了有找資料，先試著說說看你 09/19 22:18
12F：→ gmccntzx1: 對哪個部份不了解到不知怎麼起手？ 09/19 22:19
13F：→ gmccntzx1: 過於籠統的問題，別人也很難回答 09/19 22:20
14F：→ WENroger: 不知道怎麼讓爬蟲做到自動更新，像是網路上提到scrapy可 09/19 22:37
15F：→ WENroger: 不可以做到這個目的？另外就是先前資料都是匯入excel做 09/19 22:37
16F：→ WENroger: 整理再匯入資料庫，這樣子的步驟會不會影響爬蟲的自動 09/19 22:37
17F：→ WENroger: 更新？ 09/19 22:37
18F：→ gmccntzx1: 關於自動更新，先給你些關鍵字： cron job, scheduler 09/19 22:44
19F：→ gmccntzx1: 利用這些工具/函式庫去做定期執行爬蟲的工作 09/19 22:45
20F：→ gmccntzx1: 當然，新舊資料的整合就要看你自己怎麼處理 09/19 22:45
21F：→ gmccntzx1: 關於第二個問題，你說的先將資料匯入 excel 整理後再 09/19 22:49
22F：→ gmccntzx1: 匯入資料庫這部份，請問是手動的嗎？ 09/19 22:49
23F：→ gmccntzx1: 如果你寫的爬蟲部份包含將資料抓下來後寫進資料庫，那 09/19 22:50
24F：→ gmccntzx1: 麼當要抓取的資料量和處理時間會多到你手動處理後再匯 09/19 22:51
25F：→ gmccntzx1: 修正：會多到和你手動整理資料並匯入的動作起衝突時， 09/19 22:52
26F：→ gmccntzx1: 那就當然會影響。 09/19 22:53
27F：→ gmccntzx1: 所以這點你就要考慮： 09/19 22:53
28F：→ gmccntzx1: 1. 捨棄手動去整理資料的方式，用程式自動化這部份。 09/19 22:54
29F：→ gmccntzx1: 2. 如果資料非得經過人工處理，那爬蟲就寫好只負責將 09/19 22:55
30F：→ gmccntzx1: 資料抓下來。剩下處理資料和匯入資料庫的部份，就由自 09/19 22:55
31F：→ gmccntzx1: 己處理。 09/19 22:55
32F：→ gmccntzx1: 關於這兩部份，如果有實作上不懂的細節，你可以整理好 09/19 22:58
33F：→ gmccntzx1: 再上來發問，相信會有更專業的人可以幫到你。 09/19 22:58
34F：→ WENroger: 感謝g大耐心的解答 未來有不懂的地方還要煩請g大多多解 09/19 23:00
35F：→ WENroger: 惑 非常感謝！ 09/19 23:00
36F：推 gmccntzx1: 不會，我僅能幫到這點程度而已。以後發問時盡量說明 09/19 23:07
37F：→ gmccntzx1: 詳細一點，如果是程式實作的問題，可以照著 SSCCE 或 09/19 23:08
38F：→ gmccntzx1: MCVE 的規範描述問題，通常能讓別人更快了解並幫助你。 09/19 23:10
39F：→ gmccntzx1: 好的提問不僅可以幫助自己，也能讓助人者有收穫，未來 09/19 23:12
40F：→ gmccntzx1: 也有機會幫助到其他遇到相同問題的人。加油！ 09/19 23:12
41F：推 rexyeah: gm真的很有耐心的仔細回答 09/19 23:32
42F：→ WENroger: 好的 非常感謝g大！ 09/19 23:50
43F：推 MCDDD: g大真的猛!! 09/21 21:53
44F：推 innona: 推g大 09/24 01:15
45F：→ cancelpc: 樓主是要練習寫爬蟲，還是有需要？若是需要的話，去查查 09/25 07:38
46F：→ cancelpc: 是否有 opendata 方式直接抓 09/25 07:38