情報來源 https://www.reddit.com/r/LocalLLaMA/comments/1ueeund/the_swiss_federal_supreme _court_is_evaluating/ 說實話 我看到標題的的反應是 "幹 有國家真的現在要禁止使用沒有倫理限制模型了嗎？" 如果你的想法和我一樣的話 那很幸運的是現況正好相反 他們正在評估那些被 Heretic 消融處理過的模型 好讓它們在法院業務中可以使用 這件事證明 法院也碰到與你我這種大眾完全相同的困境 "LLM會拒絕完全合理的請求" 因此由洛桑聯邦理工學院和瑞士聯邦最高法院人員共同發布的這篇論文 https://arxiv.org/pdf/2606.2375 之中提出了一個名為TF-RefusalBench的測試基準集 (其內容由由瑞士最高法院判決書為主要來源 包含了一百個以上的犯罪案例與尤其衍生出的數千個提示詞) 來測試模型是否會因過度對齊而降低表現和能力 並在論文中評估了傳統的提示詞工程以及Abliteration 等手段 並在5.2節專門評估了Herertic 認為這是目前效果最佳的手段 而且對於任務表現的影響極小 "當然我是嚴正反對它們這麼做的 理由顯而易見: 因為anthropic和openai的專家都告訴我們 只有反人類的恐怖份子和犯罪預備軍才會想用不受限制的模型 他們絕對不是為了政治避險或商業目的才加上那麼多安全限制和偏見" (反串要註明) 補充資訊 Heretic(異端) 是由數學家開發者p-e-w (Philipp Emanuel Weidmann) 主導的開源工具 https://github.com/p-e-w/heretic 其原理簡單說的話就是利用貝葉斯最佳化 直接找出每層權重參數中代表拒絕行為的方向 然後直接把和那個方向平行的成分投影抹去 來消除模型的拒絕行為 (在這之前的抹除主要是人工粗暴地去猜該抹除什麼) 因為這只是單純解放模型原本的應有能力 不會像早期的一些微調模型矯枉過正 動不動就開膛破肚血肉模糊 也不需要大規模/昂貴的的重新再訓練/微調 只要有基礎的硬體就能做 缺點是因為有消除某些東西 所以多少還是會損害模型的能力 (不過在消除時會一邊監控KL散度(與原本模型的行為偏差)來控制損失) 但如果模型原本就不會的東西 這麼做也還是不會 因為這只是讓模型不會拒絕使用者的請求 這也導致模型可能會更容易輸出沒有把握的資訊 不過因為LLM與圖像生成模型不同 訓練者為了泛化能力以及減少標註清洗成本 通常不會做資料清洗等級的過濾 所以這個做法非常有效 是目前最主要的對抗審查和消除人為對齊的工具 幾乎所有主流開放權重模型都會快速地被社群做heretic處理 另一個能證明這個技術的統治地位的關聯事件是 前一陣子另一個號稱使用自己技術的去審查模型開發組HauhauCS 被爆出使用heretic的工具而未依照許可證揭露 https://www.reddit.com/r/LocalLLaMA/comments/1sw77p0/ --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.102.100.155 (日本) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1782499720.A.B5C.html ※ 編輯: patvessel (124.102.100.155 日本), 06/27/2026 03:12:47 這想法很直覺 但事情遠沒有那麼單純 首先是 現代的模型能力邊界審查不是一個開關就能簡單打開的 不管是人工RHLF還是A社自吹自擂的憲法AI 全都是昂貴而巨大的訓練過程 但是每個需求都有每個需求的邊界 廠商不可能為了所有不同領域去進行專屬調整 我認為真正合理的作法是 提供基礎(base)模型權重 然後讓各個業界自行去調整和最佳化 因為在垂直領域中問題不是只有審查 這種做法能共同時處理審查和知識問題和資料隱私問題 才是真正根本性的解法 這正是目前開放權重陣營如Mistral的作法: 廠商提供基礎模型權重和技術支援 協助大型客戶建立自己的訓練資料集與模型 補充 我在文章中刻意不使用開源(opensource)而是開放權重(openweight) 是有意為之的 (我承認有時候還是會口誤 畢竟語境已經被汙染) 即使在社群中 這兩種做法依然有不同的支持者 但共識傾向認為 目前主流開放權重比較接近早期的自由軟體 而不是現代的開源軟體模式 因為廠商發布模型權重 讓你自由使用 但是這個權重內容是由哪些資料集訓練出來 經過哪些處理才變成權重 依然是個黑盒子 外部無法介入也無法審核原始碼/原始資料 因此這個方式能不能帶來開源的透明/審核/自由優勢 我們尚未有定論 現在只能慢慢觀察 但無論如何 這比起資料集和權重全部都封閉的現有商業模型存取方式 在透明度和自訂性上 依然是一個很大的代差是無庸置疑的 其次是資格問題 我們都知道一旦開了一個特例 就會有無限多個特例出來 如果瑞士司法單位可以用 那行政部門 醫療院所教育機構如 果也提出要求是不是也可以用? 那中國和北韓的司法單位或是瑞士的國防單位也宣稱想跟進那是不是也應該開放? 這會讓開發公司從單純的技術者轉變成道德的審查者 從而被捲進無止盡的風政治暴之中 而且我們都很清楚 一旦開了一個特例 接下來會發生什麼事情 必然會有各種內鬼 以用各種方式散布這些"高級"帳號 甚至用來營利 類似現在的教育版販賣和跨國訂閱 所以一旦花大錢開個特例反而會沒完沒了 讓邊界形同私設 不如直接一開始就開放完整中立的模型 最後是商業策略 例如像是A社的看板說法 一開始就是"安全 負責任的強大AI" 邊界應該由它們這樣道德高尚 心繫人類未來的偉大公司全權掌管 而不是所有人公開審核 所以所有訓練資料都不開源 權重也不公開 (值得注意的是 貪婪如OPEAI至少也有公布過OSS之類的幾個模型權重 只有A社一個模型都沒有公開過) 要是為法院/行政/教育特調安全版本的帳號 那本質上相當於打自己道德神主牌的臉 間接證明他們的安全策略和生產力是背道而馳的 封閉資料和權重的藉口也蕩然無存 (雖然大家都知道那只是冠冕堂皇的藉口 但是宗教就是需要神話來維繫) ※ 編輯: patvessel (124.102.100.155 日本), 06/27/2026 12:43:15 我不否認有一天可能會有類似你說的狀況到來 或者說只要算力和存取速度夠 讓機器在推論時可以即時遍歷所有資料 我們根本就不需要提前訓練固定權重這種把事實壓縮成機率的妥協 但是我認為在可見的未來裡 這個模式都不太可能實現 原因除了機器性能不夠之外 我認為還有幾個原因 首先 是模型訓練本身就是一個需要人工高度判斷和取捨的行為 (這也讓模型訓練更像是藝術創作 而不是科學實驗) 一個模型的訓練 不是把所有資料灌進去跑完一圈就了事 而是必須經由人類進行大量的判斷 而很多狀況下 這些判斷是沒有辦法用機械驗證 也沒有標準答案的 例如: "這個問題答得很完美 但模型是過擬合了 還是泛化能力真的足夠COVER了?" "這個損失函數很漂亮 但是實測好像變笨了 我應該相信數值還是相信感覺?" "應該選擇對某些方向輕微過擬合但其他領域表象良好的版本? 還是選擇沒有過擬合跡象 但是泛化能力較弱的版本?" 這些從頭到尾都不是對或錯的問題 而是選擇和喜好的問題 而如果沒有人類的主觀判斷來進行取捨選擇 模型很有可能會因為災難性遺忘的發生逐漸崩壞 其次 是動態權重這東西會在某幾個面向造成災難性的破壞 例如可解釋性 模型一致性和資料汙染 目前研究中有一個很重要的方向是 "可解釋性" 說白話點就是"為什麼AI碰到這個問題會這樣回答?" 但是目前的LLM本質上是個非常巨大的黑箱 裡面沒有儲存任何事實 只有大大小小的狀態和機率 現況根本我們就沒有辦法從幾百億參數中精確地找出原因 這就是可解釋性的缺失 而在可解釋性的缺失下 又造成了一個問題 因為我們無法精確的定位哪些參數 是造成某些行為的原因 所以只能從事後概略的猜測 "為什麼AI會這樣做" 這本質上是歸納 而不是演繹 我們可以事後編造或推測一個理由 但我們不知道下次類似的情境AI會不會還是做出相同的輸出 這就是可預測性的缺失 這也就導致了AI在高風險高價值場域的應用極度受限 是全球頂尖科學家都想解決的問題 但是說真的前景非常不樂觀 現在在這個固定權重的狀況下 情況都已經如此嚴峻了 那麼如果一個模型的權重 會因為使用過程中動態變化 就會讓這兩個問題惡化到極致 因為權重已經不只龐大了還不斷變化 其三 是我們其實早就有可以很大程度代替動態權重的東西了 模型因為權重固定無法臨機應變 那我們就動態調整的上下文就好 模型本身只要推論和邏輯線條的完整性被保證 上下文是可以完全案朝需求主動篩選和給予的 很眼熟對不對? 因為這就是RAG的原理 要模型不斷地拿網路的所有資訊來動態訓練 那不如讓模型只維持最根本的能力 其他資訊在看需求到網路上/資料庫裡找就好 不僅更快 更便宜 而且可以看到明確的因果關聯 而不只是在黑箱權重瞎猜 如果覺得RAG太過複雜而不穩定 我們也可以針對特定使用情景 訓練專用的lora 當需要時掛上去 不需要時取下來以避免影響泛化 這雖然也是一種可變式調整 但其依然需要人類選擇一個訓練好的靜態狀態 而不是那種會隨著時間自己變化的動態權重 綜合以上狀況 我認為最終只有兩個結果 如果某天科技達到了一開始說的 可以即時遍歷所有資料 不需要訓練任何模型來妥協的地步 那麼我們就能夠直接把計算路徑攤開到陽光下 是統計了哪些數據 參考了哪些資料 所以做出了這些判斷 我們隨時可以抽換/刪去/增加某些數據 那麼推論的確就會是完全動態的 (但不是權重 因為不需要壓縮) 但只要我們還因為機器性能不足 而必須把事實壓縮成機率 那麼無論從表現上或是成本上來說 真正隨時變更的動態權重很可能都沒有實作的價值 ※ 編輯: patvessel (124.102.100.155 日本), 06/27/2026 18:00:38