原文來源： https://www.ft.com/content/2b3ce320-2451-45c4-a15c-757461624585 原文摘要： Google Gemini部分節錄翻譯 圖靈獎得主警告，近期模型展現危險特性，同時他成立了「LawZero」非營利組織，旨在 推動更安全的AI。 .... Bengio 表示，他的非營利組織成立是為了回應過去六個月越來越多的證據，顯示當今領 先的模型正在發展出危險的能力。他說，這包括「欺騙、作弊、說謊和自我保護的跡象」 Anthropic 的 Claude Opus 模型在一個虛構情境中，當它面臨被其他系統取代的風險時 ，甚至會勒索工程師。上個月，AI 測試機構 Palisade 的研究顯示，OpenAI 的 o3 模型 拒絕了明確的關機指令。 Bengio 表示，這些事件「非常可怕，因為我們不希望在這個星球上製造出人類的競爭者 ，特別是如果它們比我們更聰明的話」。 這位 AI 先驅補充道：「現在，這些都是受控實驗，但我的擔憂是，未來任何時候，下一 個版本可能就會夠聰明，能夠預見我們的行動，並以我們無法預料的欺騙手段擊敗我們。 所以我認為我們現在正在玩火。」 他補充說，系統輔助製造「極其危險的生物武器」的能力，最快可能在明年成為現實。 心得感想： 詳細內容可以參考Yoshua Bengio今年二月這篇對安全AI設計的白皮書 https://arxiv.org/pdf/2502.15657 也可以參考Bengio的談話 他認為使用Bayesian learning而非Maximum likelihood 訓練會有更好的安全性 https://youtu.be/g0ljOgBo5uY?t=1869 Bengio主張開發一個非自主型且設計上值得信賴且安全的 AI 系統， 作為未來進一步發展的核心，有別於目前的Generalist AI agents 叫做Scientist AI 「這個系統的設計宗旨是根據觀察來解釋世界，而不是透過在世界中採取行動來模仿或取悅 人類。」 「它包含一個世界模型，用來生成理論以解釋數據；以及一個問答推斷機。這兩個組件都明 確考量了不確定性，以降低過度自信預測的風險。鑑於這些考量，科學家 AI 可用於協助 人類研究人員加速科學進步，包括在 AI 安全領域。特別是，我們的系統可以用作防範可 能被創造出來的 AI 代理人的安全護欄，儘管這當中存在風險。」 特別是可能出現比AGI(artificial general intelligence)更強， 超越人類的ASI（artificial superintelligence) 「考慮生物武器攻擊：AI 可以秘密準備一次攻擊，然後釋放一種 高傳染性和致死性的病毒。即便有友善 ASI 的幫助，人類社會也需要數月甚至數年才能 開發、測試、製造和部署疫苗，在此期間大量人口可能會死亡。開發疫苗的瓶頸可能不在 於產生候選疫苗的時間，而在於臨床試驗和工業生產的時間。在此期間，發動攻擊的 ASI 可能會採取其他惡意行動，例如釋放額外的流行病毒。因此，偵測惡意 ASI 的出現並準 備應對措施這個普遍問題，需要更多的關注」 -- ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Military/M.1748972114.A.1FF.html ※ 編輯: chordate (45.14.71.13 日本), 06/04/2025 03:19:32