作者stpiknow (H)
看板MobileComm
标题[新闻] 在智慧型手机上运行生成式AI的趋势将在20
时间Thu Aug 31 12:17:54 2023
1.原文连结：
连结过长者请使用短网址。
https://bit.ly/3YVVYMf
2.原文标题：
标题须完整写出且须符合内文(否则依板规删除并水桶)。
在智慧型手机上运行生成式AI的趋势将在2024年实践
3.原文来源(媒体/作者)：
例:苹果日报/王大明(若无署名作者则不须)
科技产业资讯室 / 茋郁
4.原文内容：
请刊登完整全文(否则依板规删除并水桶)。
借助生成式AI，智慧型手机可以成为人们真正的数位助理。用户可以使用它自动阅读或撰
写电子邮件、起草文档和创建演讲文稿。AI驱动的座舱将使驾驶员和乘客能够更自然地互
动和控制娱乐、导航和车辆功能，从而创造更加个性化和直观的体验。
不过，AI的讨论主要集中在云端上。ChatGPT使用大量的处理、储存和记忆体。到目前为
止，大部分重点都集中在训练和完善新模型上，这些模型通常在云端进行。
但从2024年开始，三星和OnePlus的全新手机可以运行由Meta对ChatGPT的解决方案提供支
持的生成式AI应用程式，这是属於On-Device AI。Meta已与智慧型手机晶片商高通和联发
科技建立了单独的合作夥伴关系，以使其升级成为现实。
联发科技於2023年8月23日透露，将发布一款利用Meta生成式AI系统Llama 2大语言模型（
LLM），为其下一代旗舰晶片组天玑9300带来装置上的生成式AI功能。其实，高通公
司也在2023年 7月宣布与Meta建立类似的合作夥伴关系。
目前，像ChatGPT这样需要大量数据的生成式AI工具的运行成本极高，因为它们需要依赖
於远程云端伺服器。一旦将生成式AI在手机上本地运行，这将有助於降低开发人员的经济
成本，进而可以为用户带来大量新的应用程式和服务。
Meta正试图通过免费赠送代码来鼓励开发人员使用其AI大语言模型。一些专家警告说，这
种自由放任的做法可能会导致不良行为者利用该技术达到邪恶目的。
对於普通公众来说，最终结果可以提供量身客制化的个人助理，根据您的兴趣、网路活动
、健身数据、位置甚至您说话的方式提供建议和提示。这些所谓的AI代理将有各种不同的
性格供你与之互动。而且，由於这些新服务将在您的手机上运行，因此理论上您的数
据将比在云端上的数据更加隐密和安全。最後，更广泛的好处将是减少能源消耗。
众所周知，维持聊天机器人运行的数据中心需要大量的水来冷却。事实上，研究人员最近
发现，训练ChatGPT至少消耗了70万公升水，而与机器人的平均对话相当於打翻了500毫升
的瓶子。
从整体发展趋势来看，Meta并不是唯一一家致力於将生成式AI引入智慧型手机的公司。谷
歌最近宣布，它成功地在行动装置上运行了其最新大型语言模型PaLM 2的轻量级版本，这
也为将来On-Device AI带来了契机。
5.心得/评论：
内容须超过繁体中文30字(不含标点符号)。
随着生成式 AI 的处理需求、使用案例和使用者增加，在装置上执行的 AI（On-device
AI）将在让生成式 AI 在各个应用程式和产业中扩展，并扩展到更多边缘装置中，扮演不
可或缺的角色。在装置上启用生成式 AI 将有助於在任何地方加速采用，并减少云端基础
设施成本的上升。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MobileComm/M.1693455476.A.EBB.html
1F：推 frank01 : 重点是手机上运行生成式AI对一般人有什麽重大帮助 08/31 12:24
2F：→ frank01 : 吗？比如 Siri ,帮我下单买进一档明天会涨停的股票 08/31 12:24
3F：→ frank01 : ？或 siri ,在ptt 帮我发文带风向 我有30公分！ 08/31 12:24
4F：推 NX9999 : 自动驾驶概念啊 08/31 12:34
7F：→ square4 : 智能终端应该还是主打隐私，怎麽简化模型，并考虑 08/31 13:45
8F：→ square4 : 手机低蒜粒、运行功耗，要有一定的技术积累，目前 08/31 13:45
9F：→ square4 : 手机厂大概只有苹果谷歌公开较多技术细节 08/31 13:45
11F：推 tacoux : 蒜粒，笑死 08/31 14:30
12F：→ NexusPrime : 这精简化的model吧，原本几千亿参数的model不可能 08/31 15:09
13F：→ NexusPrime : 在手机跑的，光容量就装不下，RAM也不够。精简版能 08/31 15:10
14F：→ NexusPrime : 力很有限吧… 08/31 15:10
15F：推 WOGEchidna : 也不一定要用LLM，说到底LLM能不能成为下一代AI的 08/31 15:29
16F：→ WOGEchidna : 雏形还是个问题 08/31 15:29
17F：推 Ereinion9895: 边缘运算，这是好方向 08/31 16:06
18F：推 GiPaPa : 跑llama阿 手机效能就足够了 08/31 16:31
19F：→ brianuser : 沙小我电脑跑风扇都转爆了这种事交给伺服器才对吧 08/31 19:02
20F：→ Ceferino : 所以要生成什麽？拍高压电塔变东京铁塔吗 08/31 19:13
21F：→ leo125160909: 手机产A图指日可待 08/31 19:27
22F：→ trywish : 最耗运算的，只有训练而已。如果生图，ios早有了， 08/31 20:37
23F：→ trywish : M1、M2晶片都能生，那手机、平板要生也不难。只是时 08/31 20:38
24F：→ trywish : 间要很久，而且图比较小张。 08/31 20:39
25F：→ jjjj222 : 在手机上跑LLM? 认真? 09/02 15:36