※ 引述《KimomiKai (時雨大天使)》之銘言： : : Q：阿婆完全照搬OpenAI的GPT模型嗎？ : A：沒有，這次提供的是本地自家模型以串接的方式連動GPT模型，也提供用戶關閉此功 能 : 的選項 不call gpt的話，很多地方效果肯定沒有wwdc展示得這麼美好 : Q：除了本機端上的模型，發表會還有提到蘋果自家的私有雲端伺服器？ : A：是，相較於本機端的模型，阿婆保證自己的資料不會儲存在雲端上 即便不儲存，還是會被拿來訓練進來啊，而且客戶也無法驗證，就像那些畫師在吵的剽竊 問題，你沒證據大家都不知道 : ＝＝＝ : Q：幹嘛不下放到A14以後的晶片使用？ : A：除開NPU算力足夠以外，對於AI自然語言模型的關鍵還是在於記憶體大小 還有就是不損失slm能力前提下，縮小模型和和各種加速方法 不然nv縮小ram用量和加速做心酸的嗎 優化rag架構解決上下文的效率也是一個大門 : 只有iPhone 15 Pro有達到8GB記憶體門檻，其餘以下設備未達的情況下，阿婆想保證這 項 : AI使用順暢易用，就只有提高使用門檻，畢竟在此之前iPhone等終端設備也有一些AI應 用 : （非生成式模型推理），勢必佔用記憶體，我想阿婆有所考量。 : ＝＝＝ : Ｑ：這次的AI相比他牌的AI有什麼優勢？ : Ａ：其實發表會反覆提及到App Intents API，這個API直接決定了未來Siri能否達成非 常 : 順滑的使用體驗，畢竟這種系統底層的權限，現在只有封閉環境的阿婆有辦法大力整合 還是得賣自己個資 win11系統的copilot本質上也是在做這個 : 而且之後的開發者統一指標就是能否透過這個API讓系統得以間接使用手機內既有的資 訊 : 跳轉。 簡單講要完整體驗的話，記得送自己個資給apple/openai gpt傳到sv強化訓練迭代，apple傳到自己sv顧慮隱私問題不訓練的話，跟openai比優勢在 哪？數據要找誰買來訓練自家蘋果ai？ 蘋果有沒有那麼多sv和晶片應付客戶龐大的頻寬也是個問題，若想靠自研npu降低對nv的 依賴，目前npu也跟不上nv gpu+cuda的訓練效率，更不用說各種壓縮模型的加速，最後也 要考慮到台gg的產能能給蘋果多少？ 如果還要有中日韓英，考慮因各語系結構邏輯差異和數據品質，勢必會擴大手機終端裡sl m的大小，要就低精度笨模型塞在8Gram，不然就是跟進16Gram行列，順帶拉高產品價格。 mac和macbook則不太有ram問題，倒是可以放心local llm和系統rag的部分，只是也要等 各語系加強模型 況且哪來的訓練數據給apple？ 光看台灣做的7b中文某T模型也很慘，各種中文資料卡在版權問題，也沒有足夠硬體從底 層做中文llm，32片H100是能幹嘛？ 最後導致更多沒有高品質和廣泛領域的數據做訓練（且還是微調而已），微調效果也比純 英文llama3 7b還笨，之前還爆出用中國model微調台灣7b出包 更不用說在低精度的終端手機跑3b模型能有多少實用性，訓練中文的token相比英文也很 吃虧 中國方面則有很多很不錯的llm，蘋果他們對政治問題部分應該不用太擔心 以後想塞入這些各語言的slm提升用戶體驗擴大市場，slm容量也會大很多，進而更吃終端 的ram，不然就犧牲用戶數據訓練強化，到頭來還是得依靠用戶數據和nv才能保持市場領 先，靠自研npu還是不太樂觀 Rag整合到os底層固然不錯，但光靠npu和不拿客戶數據訓練肯定會落後很快 除非openai協助提供各語言的slm做整合或幫忙訓練，裝在apple sv補強各語系的問題 目前無論什麼情況都需要用戶數據去強化自家llm加強蘋果ai的使用體驗，年底新機發表 就見真章 // 個人見解大概是這樣，可能會有錯誤的部分也歡迎提出 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.228.186.204 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/iOS/M.1718228579.A.EDF.html