作者dohProject (給你獎勵)
看板AC_In
標題[心得] 學以致用的感覺真好
時間Tue May 19 01:58:28 2015
事情是這樣的,小弟從以前就有上某水產生物國度的習慣,
每次就是打開,然後對著載點按右鍵,讓JDownloader去爬,
但是光是處理一個月份(我都點特定月份當分類),滾完一個網頁就要半小時以上,
雖然看圖可以先過濾一次,避免抓到口味太重/太清淡的
然而最近的口味越來越廣,這個過程漸漸不需要了(什麼爛理由)
每次捕撈一次都要滾半天實在嫌麻煩,於是動念寫了一個小工具來爬網址
先看圖吧:
http://i.imgur.com/414W7SI.jpg
是用C# WPF介面寫成的,原則上Windows都能用
用法很簡單,在上面第一欄填入目標網址,
第三欄填入想要尋找的網站空間,
然後按下最下面的GO就會開始,
可以看到下面就把我要的網址撈出來
(圖內的連結都經過處理,請不要照填)
因為該空間有翻頁的功能,也非常幸運地不需要什麼麻煩的WebRequest,
直接改page後面的數字就可以了
...當然不是手動一次一次改啦,
可以把page後面那個數字改成 {0} ←就這三個字元
這是C#的string format關鍵字,
不懂沒關係,總之就是它會自動從1開始跑到抓不到網頁
收網成功後,就把那些漁獲再扔給JDownloader,
因為adf.ly需要一點時間才能把真網址爬出來,
這個應該超難的,幸好JD都會 (喂)
擺著給他爬幾分鐘就搞定了,再來應該各位都會
最後當然是載點
只有exe不解釋:
https://goo.gl/6P0z9U
懇請賜教github:
https://github.com/dohProject/DLPointParser
原則上網頁原始碼清清楚楚有url連結的應該都可以用這玩意去跑,
剛剛測試另一個用mega的漁場也可以正常運作
以上大概就是這樣,希望能幫得上跟我有一樣習慣的人,
順便幫我抓抓看有沒有bug (毆
--
The internet is really really great~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.84.208
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AC_In/M.1431971913.A.2B5.html
※ 編輯: dohProject (118.166.84.208), 05/19/2015 02:04:06
1F:推 dend930037: 推分享 推善意 感謝大大 05/19 02:04
2F:推 Doracacazin: 感謝 收下了m(_ _)m 05/19 02:30
3F:推 williexdgc77: 我也習慣一個月撈一次 不過還是會挑 05/19 03:40
4F:推 softseaweed: crawler拿來這樣用XD 05/19 10:58
5F:推 pcshwe: 淦,浪費才能啦! 05/19 11:25
6F:推 o0991758566: 浪費才能 才怪 才能這時候不用何時才用(GJ 05/19 11:41
7F:推 BepHbin: 才能就該浪費在美好的事物上w 05/19 11:57
8F:推 zxvbnm: 果然高手在民間 05/19 12:43
9F:推 brightwish: 不知道什麼是水產生物國度... 05/19 13:32
10F:→ garfunkel: 河蟹嗎 05/19 13:37
因為該站一向的信條就是低調,也不希望這玩意造成站長困擾,所以不好說什麼
不過那幾個字詞拿去版上/看看,爬一下應該猜得出來
※ 編輯: dohProject (140.113.157.57), 05/19/2015 13:48:16
11F:推 Silwez: 跪推 05/19 14:02
12F:推 sai0224sai: 好險我每天撈... 05/19 14:47
13F:→ KawasumiMai: 科技始終來至於 性 05/19 15:00
14F:推 a3831038: 感謝大大無私的分享 05/19 17:28
15F:推 GLaDOS1105: 推 05/19 19:17
16F:推 dderfken: 我有聽過但是找不到 05/19 19:36
17F:推 backforward: 我也有寫一個伊莉抓圖姬在板上過XD 05/19 21:09
18F:推 a3831038: 樓上的也好用,感謝 05/19 23:18
其實也有計畫把爬址功能延伸到抓圖上,
不過我個人其實一直有疑慮,在那些論壇上一股腦貼出來的圖應該都不是原圖大小,
雖然沒差多少,但是被縮過感覺就是怪怪的
就我所知E熊貓都有縮,伊莉則不清楚,
以往我個人都是不抓這些的,一來懶得一張一張點二來縮圖問題,
甚至因此有些關鍵字索性不抓了...
改天(有空的話)再來拓展一下功能
※ 編輯: dohProject (36.228.236.67), 05/20/2015 00:30:07
19F:推 dany567: 伊莉我自己丟上去是會縮圖,上傳才會比較快 05/20 00:59
20F:推 storyofwind: 科技始終來自性慾 05/20 07:21
21F:推 chann: 感謝推 05/20 11:43
22F:推 x7908347: 哭惹 不知道為什麼按GO都會停止運作阿阿阿阿 05/21 22:12
23F:推 x7908347: 抱歉 是我太笨 一直在例外貼網址..... 05/21 22:22