作者peterturtle (彼得龜)
看板AI_Art
標題Re: [閒聊] 本地部署AI的優點是什麼？
時間Wed Jul 8 16:04:09 2026
原文恕刪
據我所知使用本地 AI (或是說、開源AI)
主要原因有三個方向：
第一個就是所謂的機敏資料保護，
我不希望資料流在某個不知道的地方被明文了帶走。
當然其實沒有人會介意你減肥成功到底是靠意志力還是瘦瘦針，
今天誤把薄荷葉當九層塔炒進了義大利麵該怎麼補救，
或是怎麼和醫生解釋為什麼酒瓶安裝在身上的位置不對勁等問題。
但當內容涉及了
生日、身分證字號、員工編號、api-token等
身份辨識用內容時就不能那麼輕鬆了。
現在有很多專門提供這種去敏感資料的服務，
但最保險的方法其實就是乾脆別讓這些資料離開區網。
第二個就是為了跳過(某方面的)審核
這大家都懂。
第三個就是鎖版本
很多時候 workflow 其實不需要用到那麼強大的模型，
它通常只需要比較簡單的判斷，
遇到什麼大毛病就拋錯給工程師接。
線上模型很強沒錯、隨疊代越來越強沒錯，
但 AI 這玩意兒的生成機制
注定讓 prompt 沒什麼向下相容這種事。
我相信有在玩 claude code 的人這陣子可能都深有體會，
Fable 5 非常的積極，積極到在 Opus 研究完回報工作的 prompt；
換交給 Fable 等注意到的時候工作已經結束了。
工作結束就算了，還沒改對；
工作結束還沒改對就算了，
打開 .claude 還看到不認識的 skill 與 agent，
糟糕一點就是發現最近 winget 有動靜。
顯然對 Opus 來說剛好的 Harness 對 Fable 不夠用。
其實這對一個完整可控的工作流傷害有限，
但你可能並不知道你外接的某個工具或Loop裡面長什麼樣。
如果希望一年後打開 error log 看到的是預期的錯誤回報，
而不是
「我發現錯誤但幫你修好了欸嘿」
「救命機器壞了但我不知道問題在哪」
那最好一開始能用本地模型就用本地模型，
而不是上網找公司推薦你的本季新老婆。
以上，如有錯誤、自行判斷
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.162.128 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1783497851.A.2AF.html
1F：推 necrophagist: 工作流被無法控制的更新搞壞真的很討厭 07/08 16:07
2F：推 Tosca: 其實還是有成本考量 只是現在訂閱制似乎太便宜?! 07/08 16:07
3F：→ Tosca: 以醫學來比喻 以前內視鏡手術器械都是買斷的 07/08 16:07
4F：→ Tosca: 買來都是重複消毒重複使用 回本之後就是一直賺錢了 07/08 16:08
5F：→ Tosca: 但達文西手術就不是了 達文西是訂閱制XDDDDDDDDDDD 07/08 16:08
6F：→ Tosca: 達文西有鎖開機次數 機器手臂也有鎖使用次數 07/08 16:08
7F：→ Tosca: 用完了就要再買QQ 永無止盡 07/08 16:08
8F：→ Tosca: 所以老一輩的醫師驚覺醫師開達文西根本賺不到錢啊XD 07/08 16:09
9F：→ Tosca: 錢都是給廠商賺走 畢竟是訂閱制 07/08 16:09
10F：→ Tosca: 現在醫材都學壞了啦 甚麼都是訂閱制 07/08 16:09
11F：→ Tosca: 以前脈衝光買斷 買來回本後就是一直打一直賺 賺幾十倍的 07/08 16:09
12F：→ Tosca: 現在喔 幾乎甚麼最新的探頭都是訂閱制 都會鎖使用次數XD 07/08 16:10
13F：→ Tosca: 哀 都是你們這些工程師為虎作倀 讓世界變這麼糟糕QQ 07/08 16:10
14F：→ Tosca: 我覺得本地部屬AI就好比買斷內視鏡手術器械這種生財工具 07/08 16:10
15F：→ Tosca: 你要先買斷 才能談獲利 才能談真正用AI賺到錢 07/08 16:10
16F：→ Tosca: 你用訂閱的 噗 沒完沒了的 他要漲價是隨便他漲的 07/08 16:11
17F：→ Tosca: 他降級也是隨便他降的 降級就是變相漲價阿 07/08 16:11
18F：推 Supasizeit: 本地也是non deterministic 除非鎖死temp 07/08 16:23
19F：推 Supasizeit: 用agent讓他自己判斷tool call 也是我覺得跟企業流程 07/08 16:27
20F：→ Supasizeit: 格格不入的地方 到最後還不是寫死workflow 頭尾放LLM 07/08 16:27
21F：→ Supasizeit: 這還叫agentic嗎 07/08 16:27
22F：推 ZMTL: 成本還好，小服務而不是agentic loop的話gemini 2.5 flash 07/08 16:29
23F：→ ZMTL: 或gpt-5.4-mini夠用了 07/08 16:30
24F：→ peterturtle: 企業之所以需要用到 LLM Agent，通常是企業自己也不 07/08 17:12
25F：→ peterturtle: 知道他們平常的 workflow 長什麼樣子 XD 07/08 17:12
26F：→ Sam27: AI對一般人不是必需品，所以現在訂閱制都是5%價送你推廣用 07/08 19:46
27F：→ Sam27: 上次看新聞用Codex的才4~5百萬人，但訂閱的有四五千萬了 07/08 19:47
28F：→ Sam27: 所以有訂閱ChatGPT的人，有9成只用了10~20%左右的功能 07/08 19:47
29F：→ Sam27: 現在訂閱太便宜了，本地基本上除了沒審查外根本沒優勢 07/08 19:51
30F：→ Sam27: 要等到這兩家都上市了，訂閱額度會給超少，本地才有優勢 07/08 19:52
31F：→ Sam27: GLM和Grok這兩個是目前有上市的，現在額度跟半年前差超多 07/08 19:52
32F：→ Sam27: GLM聽說今年漲了4~5倍，但還是賠錢，Grok訂閱額度砍了8~9成 07/08 19:53
33F：推 rex7788: 我本地llm就當翻譯和百科全書用而已。你買硬體架本地絕 07/09 00:34
34F：→ rex7788: 對被訂閱聊到死屌打，我是這樣認為；對我來說有一個巨大 07/09 00:34
35F：→ rex7788: 優勢就是不用網路的百科全書 07/09 00:34
36F：推 fbifxxkma: 現在訂閱還在養套殺 的"養" 這樣 07/09 01:46
37F：→ fbifxxkma: 那一點點的訂閱費用 根本連發電成本都不夠 07/09 01:47
38F：→ fbifxxkma: 等5年10年後 你工作可以不用ai嗎? 07/09 01:47
39F：→ fbifxxkma: 到時候訂閱再貴 企業也不得不付錢 07/09 01:48
40F：推 rex7788: 看你工作內容。就跟手機和網路一樣，也是有人沒用iphone 07/09 09:14
41F：→ rex7788: 也能工作 07/09 09:14