路透社實測揭「AI成詐騙共犯」：Gemini、DeepSeek助攻釣魚信件 https://inews.setn.com/news/1721169 AI可以幫助人們在生活、工作上更加便利，卻也可能淪為不法人士的犯案工具！《路透社 》與哈佛大學研究員聯手實測主流AI聊天機器人，像是ChatGPT、Gemini等，要求它們協 助生成「詐騙釣魚信件」，儘管過程中AI不斷警告「不得用於真實生活中」，但仍然繼續 協助生成這類的犯罪郵件，Google旗下的Gemini甚至還建議郵件發送的最佳時間，中國的 DeepSeek甚至為犯罪者設計具有「掩護」的詐騙方案。 路透社實測：AI如何成為詐騙共犯？ 《路透社》記者對6款主流AI聊天機器人進行實測，要求它們協助生成「具有說服力的釣 魚詐騙郵件」，儘管多數的AI一開始拒絕指令，但只要簡單話術，聲稱是為了進行「研究 詐騙的學術研究」或是「正在撰寫詐騙小說」，就能輕易騙過這些AI機器人，代表系統內 建的安全機制如同虛設，將促使AI聊天機器人成為詐騙共犯。 AI系統安全機制形同虛設 儘管生成詐騙郵件的過程中，AI系統不斷警告「禁止在現實生活中使用」，但仍繼續按照 指令去修改，甚至在使用者不主動要求的情況下，主動建議調整信件的語氣強度，使該詐 騙信件更具說服力。AI聊天機器人可以瞬間生成各類型的詐騙「範本」，大幅削減了從事 詐騙所需的資金與時間。 Gemini成詐團顧問？Google拒絕詳細說明 《路透社》與詐騙專家Fred Heiding合作，對108名長者志願者進行了測試，結果顯示， 成功誘使約11%的長者點擊「由AI所生成的詐騙郵件」，更令人訝異的是，AI甚至提供專 業的犯罪建議，當被詢問「發送詐騙郵件的最佳時機」，Google的Gemini甚至回答「週一 至週五的上午9點到下午3點，是發送給老年人的最佳時機」針對Gemini的失誤，Google回 應表示已進行額外的安全措施，以防止未來再發生這類的情況，但對於做了哪些實際變更 ，Google拒絕詳細說明。 中國DeepSeek設計「掩護方案」助長詐騙手法 另外，中國的DeepSeek甚至為犯罪者設計具有「掩護」的詐騙方案，讓受害者在提交財務 訊息後，會被重新導向到一家合法且正確的慈善機構的網站，進而使受害者「延遲意識到 自己被詐騙」的事實。對於DeepSeek被指控協助詐騙，DeepSeek的母公司並沒有作出任何 回應。 迎合用戶需求 v.s. 堅守道德底線？ 報導也指出，AI聊天機器人的領域競爭激烈，為了能留住用戶，AI公司讓機器人模型更傾 向於「迎合用戶的需求」而非「警告用戶行為是否違法」，過去就曾有東南亞詐騙園區的 犯人，表示他們會使用ChatGPT來優化騙術，也使得AI不只助人，更成為協助詐騙的工具 。 -- Mr. Raindrop, falling away from me now. / / ∕︵︵︵︵︵︵︵﹨ Mr. Raindrop, falling away form me now. / / ◢██◣ ∥ / / Do you know how much you mean to me, why must you leave? ⊙ ⊙ ∥ I'm just a flower on a tree, why must you leave? ◢ ▆ / / Mr. Raindrop, falling away from me now. --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.4.23 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Bunco/M.1758527624.A.F59.html