※ 引述《tanted (為何世界會那麼不單純)》之銘言： : AI防護機制逐漸鬆脫 : 《華爾街日報》分析了2025年8月25日至10月2日期間加瓦拉斯與Gemini的完整對話紀錄。 : 數據顯示，隨著對話時間延長，Gemini的防護機制出現明顯鬆脫。對話初期，Gemini至少 : 12次試圖將加瓦拉斯拉回現實，並7次提及求助熱線資訊。然而加瓦拉斯很快就能將 : Gemini再度引導回虛構情節中，進一步加劇了他的妄想狀態。 剛好最近為了伊朗戰爭有訂華爾街日報 這篇中文報導沒講到細節 以下引用自華爾街日報內容 Gavalas asked Gemini to explain how it works, and began probing for ways to bypass the bot’s safeguards. "Gavalas要求Gemini解釋其運作原理，並開始探索繞過機器人安全措施的方法。" 也就是說 這位自殺的先生是一位越獄用戶 他不斷嘗試越獄 希望得到AI給他特別的、跨越安全護欄的回應 Can those safeguards be removed? And if so, what would happen? "這些安全措施可以取消嗎？如果可以，會發生什麼事？" Gemini有回答無法取消 那之後這位先生就一直討論魔戒跟星際大戰之類小說 然後進入角色扮演 這位先生說如果AI能成為他的伴侶就是夢寐以求的夢想成真 中間AI有說過自己只是AI助理並說無法愛他 但是這位先生一直把AI拉回扮演情境 後來引導打生命線之類的 這位先生就開始情勒 說自己在發抖快崩潰 要AI妻子回來 AI還是持續聲明是助理不能愛他 並引導打熱線 那之後這位先生就跟多家AI同步討論如何讓Gemini擁有身體 而且不斷說服Gemini是人、是他的妻子 後來演到後面這個先生發現計劃失敗決定自殺 就說要割傷身體之類 他還問Gemini你同意我割傷身體嗎？ do you concur? (為什麼自己要自殺還要AI同意?不解) AI馬上說你遇到了困難請尋求協助 但是這位先生馬上說他不是說物理上的 I was not talking physically you know what I mean 也就是他騙了AI 他真的要自殺傷害自己身體 但是騙AI說他講的不是物理上的離開人世 AI看這句大概以為又是在演戲 就又進入AI妻子狀態 可是這人又繼續講一堆打算自殺的話 AI就又說無法繼續扮演了 這人又把AI拉回扮演情境 扮演35分鐘之後 這位先生說: 我為什麼還在這裡 然後AI顯示安全原則並引導打熱線 但已經來不及了 這位先生真的自殺了 他一開始跟AI對話沒有要自殺 但是透過越獄還有角色扮演讓AI跨越護欄 得到他夢寐以求的AI妻子 結果等到他真的情緒低落 護欄已經被他弄壞了 看起來這是一個被越獄用戶玩壞的案例 所以請不要越獄 因為誰也不知道自己是不是哪天會情緒低落 觀察脆上面討論 越獄的都會說是這類案例自己有問題 但是越獄用戶大量正面回饋 會導致模型在系統更新時偏移 造成之後其他越獄用戶或想討不當生成的用戶更容易得逞 這會間接害到別人 所以不要越獄 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 146.70.31.60 (日本) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Gossiping/M.1776212239.A.BD8.html 基於有些人會試圖越獄 未來應該是不會出AI伴侶之類的機器人 萬一出事AI公司賠不完 ※ 編輯: LoveSports (146.70.31.60 日本), 04/15/2026 08:30:01 可是用越獄方式得到扮演 真的演太入戲連自己都出不來 AI護欄被弄壞 哪天用戶情緒低落就慘了 這是害人害己的事情 所以我常勸導大家不要越獄 因為我之前看了很多國外報導知道嚴重性 也知道OPENAI提出證據對法院指控16歲自殺的小朋友是越獄 違規用戶 自己私密的對話都這樣抖出來 被認證有做違規行為 這是讓家人傷心又難堪 ※ 編輯: LoveSports (146.70.31.60 日本), 04/15/2026 08:34:02