作者WENroger (666)
看板Python
标题[问题] 爬虫自动更新程式
时间Wed Sep 19 16:36:26 2018
手机排版请见谅!!!!
是这样的如题
小弟最近想写一个爬虫自动更新程式
程式有以下目的
例如：
我今天爬观光局网站
将全部景点资讯爬下
过了一个月後观光局多了10个新的景点
我可以透过这个程式让爬虫自动执行
并把这10个新的景点爬下来
请问这个程式是我需要另外再写一个
还是我可以在python做出一样目的？
另外就是我该从哪一方面的资讯去起手？
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.158.107.59
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1537346188.A.14C.html
1F：→ gmccntzx1: 你都说了「找了很多资料不太容易吸收」，何不试着讲出09/19 16:44
2F：→ gmccntzx1: 哪些部份不懂？09/19 16:44
3F：→ gmccntzx1: 将那些不了解的部份整理成问题发上来问，让大家帮你厘09/19 16:45
4F：→ gmccntzx1: 清观念，这样才能学到东西。09/19 16:45
5F：→ gmccntzx1: 不然找了资料给你，大家怎麽知道哪些是你「容易吸收」09/19 16:46
6F：→ gmccntzx1: 的呢？09/19 16:46
8F：推 cutekid: 推楼上 g 大分享的「提问的智慧」09/19 16:58
9F：→ WENroger: 感谢指教 应该说不知哪里起手09/19 21:32
※ 编辑: WENroger (49.158.107.59), 09/19/2018 21:50:01
10F：→ gmccntzx1: 讲明确一点，是不知道怎麽写爬虫还是不知道怎麽做到让 09/19 22:18
11F：→ gmccntzx1: 爬虫定时更新？ 既然你都说了有找资料，先试着说说看你 09/19 22:18
12F：→ gmccntzx1: 对哪个部份不了解到不知怎麽起手？ 09/19 22:19
13F：→ gmccntzx1: 过於笼统的问题，别人也很难回答 09/19 22:20
14F：→ WENroger: 不知道怎麽让爬虫做到自动更新，像是网路上提到scrapy可 09/19 22:37
15F：→ WENroger: 不可以做到这个目的？另外就是先前资料都是汇入excel做 09/19 22:37
16F：→ WENroger: 整理再汇入资料库，这样子的步骤会不会影响爬虫的自动 09/19 22:37
17F：→ WENroger: 更新？ 09/19 22:37
18F：→ gmccntzx1: 关於自动更新，先给你些关键字： cron job, scheduler 09/19 22:44
19F：→ gmccntzx1: 利用这些工具/函式库去做定期执行爬虫的工作 09/19 22:45
20F：→ gmccntzx1: 当然，新旧资料的整合就要看你自己怎麽处理 09/19 22:45
21F：→ gmccntzx1: 关於第二个问题，你说的先将资料汇入 excel 整理後再 09/19 22:49
22F：→ gmccntzx1: 汇入资料库这部份，请问是手动的吗？ 09/19 22:49
23F：→ gmccntzx1: 如果你写的爬虫部份包含将资料抓下来後写进资料库，那 09/19 22:50
24F：→ gmccntzx1: 麽当要抓取的资料量和处理时间会多到你手动处理後再汇 09/19 22:51
25F：→ gmccntzx1: 修正：会多到和你手动整理资料并汇入的动作起冲突时， 09/19 22:52
26F：→ gmccntzx1: 那就当然会影响。 09/19 22:53
27F：→ gmccntzx1: 所以这点你就要考虑： 09/19 22:53
28F：→ gmccntzx1: 1. 舍弃手动去整理资料的方式，用程式自动化这部份。 09/19 22:54
29F：→ gmccntzx1: 2. 如果资料非得经过人工处理，那爬虫就写好只负责将 09/19 22:55
30F：→ gmccntzx1: 资料抓下来。剩下处理资料和汇入资料库的部份，就由自 09/19 22:55
31F：→ gmccntzx1: 己处理。 09/19 22:55
32F：→ gmccntzx1: 关於这两部份，如果有实作上不懂的细节，你可以整理好 09/19 22:58
33F：→ gmccntzx1: 再上来发问，相信会有更专业的人可以帮到你。 09/19 22:58
34F：→ WENroger: 感谢g大耐心的解答 未来有不懂的地方还要烦请g大多多解 09/19 23:00
35F：→ WENroger: 惑 非常感谢！ 09/19 23:00
36F：推 gmccntzx1: 不会，我仅能帮到这点程度而已。以後发问时尽量说明 09/19 23:07
37F：→ gmccntzx1: 详细一点，如果是程式实作的问题，可以照着 SSCCE 或 09/19 23:08
38F：→ gmccntzx1: MCVE 的规范描述问题，通常能让别人更快了解并帮助你。 09/19 23:10
39F：→ gmccntzx1: 好的提问不仅可以帮助自己，也能让助人者有收获，未来 09/19 23:12
40F：→ gmccntzx1: 也有机会帮助到其他遇到相同问题的人。加油！ 09/19 23:12
41F：推 rexyeah: gm真的很有耐心的仔细回答 09/19 23:32
42F：→ WENroger: 好的 非常感谢g大！ 09/19 23:50
43F：推 MCDDD: g大真的猛!! 09/21 21:53
44F：推 innona: 推g大 09/24 01:15
45F：→ cancelpc: 楼主是要练习写爬虫，还是有需要？若是需要的话，去查查 09/25 07:38
46F：→ cancelpc: 是否有 opendata 方式直接抓 09/25 07:38