作者goooeooo (ge)
看板Soft_Job
標題[請益] 請問爬蟲+資料統計怎麼發展比較好?
時間Mon Feb 5 02:18:04 2018
我一直有一個夢
就是希望能把我收集的各個網站上的公開資料
擷取下來 (是公開資料)
譬如有50個網站的公開資料 我希望寫個程式 自動抓取這50個網站的特定公開資料
然後我想在寫一個程式 將這些擷取下來的資料進行我想要的統計計算
請問各位大哥大姐 如果想達到這樣子的能力 我應該要怎麼發展比較好呢?
我目前就只會工廠的ERP系統 如果想有以上敘述的能力 請問該如何發展呢?
感謝感謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.133.173.252
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1517768288.A.9AC.html
※ 編輯: goooeooo (220.133.173.252), 02/05/2018 02:19:27
1F：→ softseaweed: 這入門python就幹的到了吧 02/05 05:11
2F：推 drajan: 開始進行 做中學 最慢半年就可以了 02/05 07:14
3F：→ MOONY135: 我大概一周就可以爬PTT了...覺得兩個月就可以寫完五十 02/05 08:53
4F：→ MOONY135: 個網站 02/05 08:53
5F：推 s8888: html, css基礎知識 + 任一語言 +爬文套件(soup系列) ，有 02/05 09:12
6F：→ s8888: 些防護較好的網站可能會需要動態ip 02/05 09:12
7F：推 kenshin528: 越多網站練的不是爬蟲，是自動化跟錯誤偵測機制 02/05 09:19
8F：→ kenshin528: 而且 ptt 超好爬的，很多網站結構更亂... 02/05 09:20
9F：推 cphe: 推樓上，而且ptt其實算最簡單的了 02/05 10:26
10F：→ menshuei: 我覺得爬到最後練的是耐心跟規則的撰寫而已。 02/05 11:14
11F：推 rayway30419: 這次鐵人賽Howard的爬蟲系列可以參考一下 02/05 11:36
13F：推 TAKADO: 爬資料容易說故事難，要變成產品賣出去更難。只能多實作練 02/05 13:18
14F：→ TAKADO: 習&充實domain knowledge，然後認真修統計分析才能把故事 02/05 13:18
15F：→ TAKADO: 說得飛天鑽地。 02/05 13:18
16F：推 femlro: 溫馨的推文 02/05 15:16
17F：推 luli0034: 跟我大學專題87%像 02/05 15:25
18F：推 olen0622: 這資策會出來的就會了沒很難 python套件一堆 02/05 17:19
19F：→ rodion: 一堆說沒很難的 Google的search engine就是靠強大的爬蟲 02/06 10:58
20F：→ rodion: 為根基的 我以為爬蟲是易學難精 說沒很難只是沒碰到過難爬 02/06 10:59
21F：→ rodion: 的網站 02/06 10:59
22F：推 THEWORLDS: 爬特定網站本來就不難 02/06 22:35
先感謝大家的推文
請問 市場爬蟲的工作需求多嗎 以及會用我這不到一年資歷無爬蟲經驗的新人嗎?
我當初無經驗時 有找過 但沒有公司願意面試 但我只找了半個月 就去erp的公司上班了
※ 編輯: goooeooo (220.133.173.252), 02/07/2018 02:08:47
23F：推 ovoqq: 之前有做過 圖書館爬蟲書有教 02/07 16:55
24F：→ ACMANIAC: 如果你要實作一個 Goolge search engine 的確滿難的 02/09 10:40
25F：推 rpdef9969: 把你的目標具體後，簡化一點，分階段完成。 你可以現 02/11 12:18
26F：→ rpdef9969: 在安裝好python，爬個一週天氣下來；分階段達成你想要 02/11 12:18
27F：→ rpdef9969: 的目標。 02/11 12:18
28F：→ rpdef9969: 都會ptt了，你可以在網路上找個python爬蟲課。 02/11 12:24