※ 引述《KimomiKai (时雨大天使)》之铭言： : : Q：阿婆完全照搬OpenAI的GPT模型吗？ : A：没有，这次提供的是本地自家模型以串接的方式连动GPT模型，也提供用户关闭此功 能 : 的选项 不call gpt的话，很多地方效果肯定没有wwdc展示得这麽美好 : Q：除了本机端上的模型，发表会还有提到苹果自家的私有云端伺服器？ : A：是，相较於本机端的模型，阿婆保证自己的资料不会储存在云端上 即便不储存，还是会被拿来训练进来啊，而且客户也无法验证，就像那些画师在吵的剽窃 问题，你没证据大家都不知道 : ＝＝＝ : Q：干嘛不下放到A14以後的晶片使用？ : A：除开NPU算力足够以外，对於AI自然语言模型的关键还是在於记忆体大小 还有就是不损失slm能力前提下，缩小模型和和各种加速方法 不然nv缩小ram用量和加速做心酸的吗 优化rag架构解决上下文的效率也是一个大门 : 只有iPhone 15 Pro有达到8GB记忆体门槛，其余以下设备未达的情况下，阿婆想保证这 项 : AI使用顺畅易用，就只有提高使用门槛，毕竟在此之前iPhone等终端设备也有一些AI应 用 : （非生成式模型推理），势必占用记忆体，我想阿婆有所考量。 : ＝＝＝ : Ｑ：这次的AI相比他牌的AI有什麽优势？ : Ａ：其实发表会反覆提及到App Intents API，这个API直接决定了未来Siri能否达成非 常 : 顺滑的使用体验，毕竟这种系统底层的权限，现在只有封闭环境的阿婆有办法大力整合 还是得卖自己个资 win11系统的copilot本质上也是在做这个 : 而且之後的开发者统一指标就是能否透过这个API让系统得以间接使用手机内既有的资 讯 : 跳转。 简单讲要完整体验的话，记得送自己个资给apple/openai gpt传到sv强化训练迭代，apple传到自己sv顾虑隐私问题不训练的话，跟openai比优势在 哪？数据要找谁买来训练自家苹果ai？ 苹果有没有那麽多sv和晶片应付客户庞大的频宽也是个问题，若想靠自研npu降低对nv的 依赖，目前npu也跟不上nv gpu+cuda的训练效率，更不用说各种压缩模型的加速，最後也 要考虑到台gg的产能能给苹果多少？ 如果还要有中日韩英，考虑因各语系结构逻辑差异和数据品质，势必会扩大手机终端里sl m的大小，要就低精度笨模型塞在8Gram，不然就是跟进16Gram行列，顺带拉高产品价格。 mac和macbook则不太有ram问题，倒是可以放心local llm和系统rag的部分，只是也要等 各语系加强模型 况且哪来的训练数据给apple？ 光看台湾做的7b中文某T模型也很惨，各种中文资料卡在版权问题，也没有足够硬体从底 层做中文llm，32片H100是能干嘛？ 最後导致更多没有高品质和广泛领域的数据做训练（且还是微调而已），微调效果也比纯 英文llama3 7b还笨，之前还爆出用中国model微调台湾7b出包 更不用说在低精度的终端手机跑3b模型能有多少实用性，训练中文的token相比英文也很 吃亏 中国方面则有很多很不错的llm，苹果他们对政治问题部分应该不用太担心 以後想塞入这些各语言的slm提升用户体验扩大市场，slm容量也会大很多，进而更吃终端 的ram，不然就牺牲用户数据训练强化，到头来还是得依靠用户数据和nv才能保持市场领 先，靠自研npu还是不太乐观 Rag整合到os底层固然不错，但光靠npu和不拿客户数据训练肯定会落後很快 除非openai协助提供各语言的slm做整合或帮忙训练，装在apple sv补强各语系的问题 目前无论什麽情况都需要用户数据去强化自家llm加强苹果ai的使用体验，年底新机发表 就见真章 // 个人见解大概是这样，可能会有错误的部分也欢迎提出 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.228.186.204 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/iOS/M.1718228579.A.EDF.html