作者danny0838 (道可道非常道)
看板Browsers
標題[-Fx-][-GC-] 網頁剪貼簿 (WebScrapBook) 0.80
時間Mon Oct 12 23:36:30 2020
網頁剪貼簿 (WebScrapBook) 0.80
https://github.com/danny0838/webscrapbook
這是傳統 Firefox 附加元件 ScrapBook X 的後繼版本,
主要功能是忠實
擷取網頁及
管理、加註、編輯、全文搜尋。
跨平台支援 Fx > 57 、Chromium 系瀏覽器,
及以二者為核心的行動版瀏覽器,如:
- Firefox for Android
(79 版架構更新無法支援,官方說以後再研究,暫時只能降版)
- Kiwi browser
- Yandex browser
與 ScrapBook X 對照新功能可參見:
https://bit.ly/39JD1B5
前情提要:
https://bit.ly/2SK2NiE
繼上次在本版報告後主要更新如下(0.65.0 → 0.80.1):
*
行內註解和
自由註解功能都做好了。
* 後端伺服器加入
全文索引器、資料檢測器及匯入、匯出、轉檔工具。
全文索引效能有感提升,尤其是大部分頁面未更動不須重掃的情況
(實測某大本剪貼簿,舊版更新索引約 60~80 秒,新版 3~8 秒)
現在在擷取或編輯頁面後會自動更新該頁面的全文索引,幾乎不用再
每隔一段時間就人工更新索引了。
資料檢測器可以很快掃出目前資料有哪些問題,並附有自動修正功能,
(修正時會自動建立差異備份)
匯入、匯出就是方便把資料轉到不同的剪貼簿。目前只實做了命令列
工具(由於 WebExtension 禁止存取本機檔案,無法直接指定以任意
目錄用於匯入匯出,目前還沒想到怎麼在瀏覽器套件端實做,還待大
家集思廣義orz)
轉檔工具目前支援傳統 ScrapBook X 和 WebScrapBook 剪貼簿格式
互轉(鼓勵跳槽意味XD),未來計畫支援更多格式,至於具體要支援
什麼,以下開放許願...
雖然這兩項看起來不多,但做起來累死人了QQ
應該差不多可以出 1.0 版惹(?)
--
《終結內容農場》瀏覽器套件
Chrome:
http://bit.ly/CFTGC
Firefox:
http://bit.ly/CFTFx (桌機 & Android 手機)
真相1:
http://bit.ly/CFTss1
真相2:
http://bit.ly/CFTss2
詳細介紹:
http://bit.ly/CFTinfo
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.164.23.235 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Browsers/M.1602517002.A.15B.html
※ 編輯: danny0838 (1.164.23.235 臺灣), 10/12/2020 23:39:20
1F:推 sdbb: 好用推10/13 01:38
2F:推 lecheck: 已收藏 感謝10/13 07:51
3F:推 hsparrot: 好用的神器,原本懶得裝server所以一直用waterfox+舊版10/14 11:31
4F:→ hsparrot: ,某天閒閒裝了server後馬上跳槽不回頭10/14 11:31
感謝支持。
有點好奇你是看上了新版的哪幾點功能才跳槽,有沒有空說一說?
之後生文案的時候或許可以多強調一下XD
我也覺得要裝server真的很麻煩,但是webextension架構如此,不得不屈服QQ
5F:推 DCG: 請問,如果把新版xpi裡面的JSZip,替換成舊版(0.52.1)裡的10/14 12:44
6F:→ DCG: JSZip(打開壓縮檔覆蓋過去),是否就不用清理記憶體緩衝區10/14 12:47
7F:→ DCG: ,恢復以前的儲存速度?10/14 12:48
理論上是吧,但是改內容會導致套件簽章無效而無法安裝,要再想辦法處理。
如果在意這樣的速度差異,就只好折騰一下囉XD
另外,我個人沒觀察到太明顯的效能差異,或許這和硬體效能也有關係,
如果電腦方便升級的話也許升一升就能解決一切XD
※ 編輯: danny0838 (1.164.23.235 臺灣), 10/14/2020 16:42:35
8F:推 MK47: 會有同步到Android的功能嗎?10/14 20:58
你想同步什麼?
如果是指套件的選項設定,都是由瀏覽器的同步功能決定的,
目前看起來Firefox是不會把電腦版的套件設定和手機版的同步,
Chrome手機版根本不能裝套件,不必問這個XD
如果瀏覽器不提供選項同步,又有轉移選項的需求,
可以匯出選項,把匯出檔放到手機,再匯入手機版的套件即可。
如果是指擷取的資料,別說手機了,連電腦同步到電腦都沒有XD
不過如果是架後端伺服器使用,那一般來說不用特別同步,
不管幾台電腦手機都連進同一個後端伺服器就可以了。
※ 編輯: danny0838 (1.164.23.235 臺灣), 10/15/2020 00:54:34
9F:推 Altair: 推推10/16 10:45
10F:→ MK47: 我是想問抓的資料 看來好像不行10/16 14:25
WebScrapBook 本身不提供,
不過如果只是想同步靜態資料檔,
有個方法是 ScrapBook 目錄和雲端同步(比如 Dropbox),
Android 上用 FolderSync 之類的工具把 Dropbox 的東西同步到手機上。
不過現在很多手機瀏覽器都不能直接瀏覽本地的網頁檔了,
(可以瀏覽但是會進入沙盒模式,圖片、超連結等都沒有)
可能還要裝個 Android 上的本地伺服器才能用。
※ 編輯: danny0838 (1.164.31.63 臺灣), 10/16/2020 14:53:58
11F:推 hsparrot: 我跳槽的理由,除了-能在新瀏覽器上使用-這個必然的優點10/16 21:33
12F:→ hsparrot: ,另外就是「擷取助手」,像我常上特定網站去抓小說下來10/16 21:33
13F:→ hsparrot: 轉ePub,能預先處理掉部分版面格式問題還蠻方便的10/16 21:33
14F:推 hsparrot: 話說能許願強化「擷取助手」嗎? 像是能覆寫「擷取」選10/16 21:36
15F:→ hsparrot: 項裡的設定;還有擷取完後執行自訂本地端命令(醬我就能10/16 21:36
16F:→ hsparrot: 自動化執行腳本程式來玩弄抓下來的檔案啦)10/16 21:36
這答案我還滿意外的,本來想說擷取助手這玩意一堆落落長的敘述應該不會
有人認真看待吧XD
覆寫擷取選項可以做到,但有一些限制,主要是有些選項在執行擷取助手之
前就做過處理,之後又會再做一些處理,一旦覆寫可能會導致不一致。
0.82.0 版先加了覆寫擷取選項及一些除錯強化,畢竟目前最大的缺陷之一
是很難除錯,導致要寫出可用的助手極其困難。
其實理想上最好是能直接跑 JavaScript,但是瀏覽器套件一堆安全性限制,
目前還找不到方法,所以才做成這副德性,這樣做其實很多基本功能其實是
難以提供的,比如一些簡單的數學和字串運算...
至於擷取完執行本地命令可能很困難,首先,瀏覽器套件本身有安全限制,
不可能直接執行本地腳本,至於透過後端伺服器去跑伺服器上的腳本,理論
上可以做到,但會有很多安全疑慮要處理。
有能力寫腳本的話,我建議可以考慮直接擴充或 import PyWebScrapBook
去撈特定範圍的網頁(網址、擷取時間等等)處理,處理後可以加上某個
item metadata 或在網頁裡加上某個自訂屬性值避免重複處理,這可能比等
我寫出這功能更實際也更靈活一些。
※ 編輯: danny0838 (1.164.31.63 臺灣), 10/17/2020 21:49:19
17F:推 wumins: 好厲害,期待新版本功能愈來愈完善10/19 04:15
18F:推 hsparrot: python只啃過一點還好幾年沒摸都忘光光了XD,其實自己手 10/20 12:20
19F:→ hsparrot: 動執行腳本處理本地檔也過得去,畢竟不是天天沒事拿著10/20 12:20
20F:→ hsparrot: WSB到處去砍站那種大用量10/20 12:20
那你的本地腳本用什麼程式語言?XD
如果不是 Python,就沒辦法直接接 API 讀資料列表,
不過也是有一些比較簡單的方法,
比如先開一個新的 ScrapBook 專門抓要處理的頁面,
抓完用腳本處理完後再匯出匯入到正式的 scrapbook。
21F:推 zhtw: 推 用很久了!10/21 12:18
※ 編輯: danny0838 (114.136.60.45 臺灣), 10/23/2020 13:28:22