作者peace9527 (謝謝你9527)
看板Ajax
標題[問題] 用JS做網路爬蟲是否可行?
時間Wed Feb 17 17:47:48 2016
本來一直都是用python在做網路爬蟲
但因為公司有新需求
想要直接在網頁上按按鈕 就能抓下需要的資料
因此我想到了google 插件 可以滿足這種UX
而google插件只能用JS寫 所以我就重拾JS的懷抱
玩了一整天後
目前覺得JS應該可以做網路爬蟲
只是不知道是否好做呢?
像Python有好用的BS4 selenium等等 做網路爬蟲很方便很輕鬆
目前我只知道jquery的 querySelectorAll function
想知道還有沒有其他更好用的網路爬蟲function呢?
感謝各位大神的解答!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.232.189.161
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Ajax/M.1455702470.A.CAE.html
※ 編輯: peace9527 (36.232.189.161), 02/17/2016 17:48:00
1F：→ rarex: node.js有很多這種資源呀 可以往這方面去找找看 02/17 21:25
2F：推 rayway30419: nodejs + spider/crawler一大堆 02/18 00:46
3F：推 BigTounge: nide cheerio 02/19 02:26
4F：→ BigTounge: node打錯 02/19 02:27
5F：→ Peruheru: 原PO想問的是前端JS吧?不然後端爬蟲用什麼語言哪有差 02/19 13:20
6F：→ Peruheru: 網頁端JS的話，跨網域的抓取有滿多限制的 02/19 13:21
7F：推 shadowjohn: node-webkit也ok啊...也沒跨域的問題ajax亂衝 02/21 23:46
8F：→ shadowjohn: iframe也可以亂穿~自加code :D 02/21 23:46
9F：推 honestyer: nodejs 滿足你的需求 03/04 16:59
10F：→ nightspirit: 前端爬跨網域太麻煩, 後端爬可用phantom.js 03/06 19:10
11F：推 pleasewait: cheerio 棒棒 05/16 12:35
12F：推 hsuan0904: 可以看看 Tampermonkey 03/22 22:44