原文恕刪 因為覺得兒童色情及用戶隱私是相當重要的議題，但使用者對於其技術的誤解容易造成議 題失焦，所以希望透過這篇回文拋磚引玉吸引更多人的討論，也懇請各位大神對於我說錯 的地方不吝指教QQ。 在討論運作方式前，先來看看幾個技術文件提到的大前提XD 1. 蘋果不會知道任何 unmatched 照片的任何資訊。 2. 除非到達一定的閥值，蘋果不會取得任何 matched 照片的 metadata 或視覺資訊。 3. 系統誤判的機率非常的低（文件下方說誤判帳號的機率是一兆分之一），且每個被點 名的嫌疑帳號都會被人工審核後才回報給 NCMEC。 首先，先從官方的技術文件來了解系統的大致的運作方式。蘋果並不是單純的用 AI 影像辨識的方式偵測，而是在先本機取得圖片的 NeuralHash 值後跟資料庫中已知 的雜湊值比對，且比對的動作是在本機執行。比對的結果也會經過加密後才上傳到 iCloud，故在解密之前連蘋果也不知道比對的結果與內容，要直到達到一定的閥值後蘋果 才會將 matched 的照片解密並將帳戶回報給 NCMEC。其步驟可以參考下方圖片。 https://imgur.com/Cwn2828 那麼，這個做法跟單純的 AI 影像辨識究竟有何不同？有人會誤以為蘋果是運用大量的兒 童色情圖片訓練出一個分類模型來判斷照片是否屬於兒童色情。然而，蘋果並不是用這樣 的方式來判斷圖片「像不像」兒童色情，其技術中的神經網路只是用來提取圖片的特徵值 (描述符 descriptor)，特徵值經過雜湊後再與「已知的」非法圖片進行比對，而匹配與 否是看有無與已知的圖片「近乎相同」(nearly identical)。所以它的概念比較 類似以圖搜圖，而不是 google 相簿的場景/人物辨識。故重點在於已知的資料庫內容 ，理論上要明確被列入資料庫的非法照片才有可能 match。 至於到底什麼樣的照片叫做「近乎相同」？根據蘋果的技術文件，原始圖片即使 經過輕度的裁切、變形、灰階化、改變解析度，甚至轉檔，都會被視為與原圖近乎相同 ，換句話說，修改後的圖片會與原圖產生相同或相似的雜湊值。下圖即是技術文件內 的例子。 https://imgur.com/nRmh7z5 但是，即便兩張圖片視覺上看起來相同，它們依舊是不同的兩張圖片，怎麼會產生相同或 相似的雜湊值？這有兩個關鍵的地方，其一是提取圖片描述符(descriptor)所使用的神經 網路。從文件可以得知，蘋果使用自監督學習(self-supervised training)的方式來訓練 模型。模型的 input data 非常簡單，共有兩種組合，第一種是由原圖與稍微修改的原圖 形成的組合(original/perturbed pair)；第二種是由原圖以及一張與原圖不相同的圖片 形成的組合(original/distractor pair)。而模型的目標是遇到相似的圖片組合時產生相 似的描述符，反之在遇到不相似的圖片組合時要產生不同的描述符。總之，這個神經網路 被訓練成在遇到近乎相似的圖片時會產生相似的描述符。 然而，有相似的描述符還不夠，第二個關鍵是取得描述符後會使用 LSH (Locality- sensitive hashing) 算法進行雜湊，這部分請參考此篇 #1X3huscy (MobileComm) ， 簡單來說相似的輸入值會有高機率被 hash 到相同的 bucket，這就是為什麼近乎相同的 圖片會產生相同的 NeuralHash。 以下是幾個我覺得很有趣問題，也附上我的看法，如有說錯請大大多多指教 Ｑ1: 蘋果要怎麼判斷照片是未成年的？如果自拍小 GG 會不會被誤判？ A1: 如第一段所述，蘋果並不是用 AI 來判斷圖片「像不像」未成年，所以圖片看起來像 不像未成年並不重要，重要的是有無與資料庫匹配。 Q2: 家長拍攝自家小孩的照片會不會被誤判持有兒童色情？ A2: 其判斷的重點在於已知的資料庫內容，除非家長拍的照片被列入資料庫，不然理論上 不會因此誤判。 Q3: 那麼二次元的部分呢？ A2: 如同Q2，除非哪天 NCMEC 把二次元視為兒童色情並將圖片列入資料庫中，不然不會 因此誤判。 Q4: 廢話這麼多？所以蘋果到底有沒有掃描且看過我的相簿？ A4: Well..yes, but actually no。蘋果確實在「本機」掃描了圖片，但是掃描得到的描 述符、NeuralHash，與判斷結果都會以加密的方式上傳到 iCloud，所以除非是超過閥值 而被解密的照片，不然蘋果不會知道任何 unmatched 圖片的 metadata 或視覺上的訊， 也就是說，蘋果並沒有「看過」你的照片。 Q5: 這樣看來蘋果有解密照片的能力，那加密不就是唬爛的嗎？ A5: 該加密技術是採用 PSI 加密協議（原理好複雜我也還沒完全看懂XD），但就我的理 解，蘋果解密圖片需要兩把鑰匙，其中一把鑰匙為伺服器持有，而另一把在本機計算 NeuralHash 時產生，然而，本機所產生的鑰匙只有在圖片 matched 時才是有效的鑰匙， 換句話說，圖片在 unmatched 的情況下本機產生的鑰匙是無效的，所以蘋果沒辦法單方 面解密照片。 總結來說，我覺得蘋果這個做法在保護未成年的部分是立意良善，也儘可能做到維護使用 者的隱私，但仍有幾個需要探討的點： 1. 蘋果如何保證這個機制只會用來偵測兒童色情？這整個機制最重要的部分就是資料庫 的內容，只要放入資料庫的照片就能夠被偵測到。也就是說，如果有政府單位或是其他組 織要求在資料庫放入其他照片，那麼這個機制便可能淪為政府內容審查的工具，蘋果要如 何保證這點？ 2. 繼然被點名的帳戶會經過蘋果的人工審查，那麼蘋果是否會保證審查人員的心理健康 ？且人工審核時審查人員是否知道照片與帳戶持有人之間的關聯？ 3. 所有機制都會有誤判的時候，那麼遇到 false positive 時會如何處理？ --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.86.214 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/iOS/M.1628437206.A.F94.html 對你說的沒錯，資料庫裡面當然有兒童色情圖片，不然就無法做比對XD。但我想強調的是 ，資料庫的圖片並不是用來訓練影像辨識模型，因為有些人會誤以為蘋果是拿兒童照片訓 練出一個分類模型，但實際上資料庫的作用並非如此。另外你提到要如何抓出後續的資料 ，這其實就是這個機制的盲點之一，如果該照片是尚未被列入資料庫的「第一手照片」， 那麼這個機制就無法偵測到它，這點只能等NCMEC或其他組織找出更多兒童受害的資訊， 並將它列入資料庫中。 我用以圖搜圖這個詞主要是想強調用已知的圖片去比對的概念，並不是說它的效果像是 以圖搜圖一樣會吐一個出入很大的搜尋結果。所以就像你說的，除非圖片真的近乎相同， 要比對成功的機會很低。 的確目前似乎還沒有看到蘋果說明人工審核的詳細運作方式，這是需要注意的點。 沒錯本機是指消費者的手機，運算與加密的確是消耗手機的資源，但有沒有合法這就有 請美國的消費者去跟蘋果打集體訴訟了XDD 只說理論上是因為這種用到神經網路的東西不可能做到百分之百，肯定會有誤判的時候， 至於準確率到底是多少，就文件來看帳號被誤判的機率是一兆分之一，要不要相信 蘋果的統計就自由心證了XD。另外如同我上方的回覆，以圖搜圖只是一個概念，並不是說 它的效果跟以圖搜圖一樣。 沒錯，人工審核的部份需要蘋果做更多的說明。 只有上傳到icloud的照片才會被分析是確定的，但會不會計算沒上傳的圖片這點待釐清。 嚴格來說蘋果並沒有執法，只有將被抓到的帳號回報給 NCMEC 跟有關單位。 沒錯，最大的問題就是資料庫的內容，蘋果在 FAQ 裡面提到他們不會答應政府的要求 加入其他無關的照片，但看看中國的雲上貴州www 相不相信蘋果就看個人了XD 中文太差，你沒說我根本不知道這兩個字的差別XDD 你說的就是這個機制的盲點，但我想你要擔心的不是蘋果，而是台灣的警察XDD ※ 編輯: PopeVic (114.38.90.138 臺灣), 08/09/2021 16:22:12