作者ivon852 (内容农场杀手)
看板MobileComm
标题[新闻] 高通展示手机跑Stable Diffusion AI绘图
时间Fri Feb 24 20:47:14 2023
1.原文连结:
连结过长者请使用短网址。
https://www.cool3c.com/article/189870
2.原文标题:
标题须完整写出且须符合内文(否则依板规删除并水桶)。
高通 Qualcomm AI Research 展示全球首个在手机上执行 Stable Diffusion 的 AI 绘图
,仅需几十秒即可将文字转化为图像
3.原文来源(媒体/作者):
例:苹果日报/王大明(若无署名作者则不须)
Cool3c/Chevelle.fu
4.原文内容:
请刊登完整全文(否则依板规删除并水桶)。
近期 AI 画图是相当热门的议题,仅需给予简单的文字描述, AI 系统就可产生符合描述
的精致图像;高通在 MWC 前夕公布一段 Qualcomm AI Research 的研究成果,领先全球
首度在手机执行原本需要在云端服务执行 Stable Diffusion 模型,使手机也能如云端服
务一样依照文字产生对应的影像。
https://i.imgur.com/imJ98Un.jpg
▲以「穿着盔甲的超级可爱毛茸茸猫武士」得到的成果
https://i.imgur.com/AGoxS8W.jpg
▲以「有着野生动物、河流与山的日式庭院」的结果
高通强调此次的实验是以搭载高通 Snapdragon 8 Gen 2 的市售装置执行,并透过跨应用
程式、神经网路模型、演算法、软硬体等进行最佳化,并动用公司跨部门协作实现此次的
实验成果。高通透过由 Hugging Face 的 FP32 version 1-5 开源模型作为基础,透过量
化、编译与硬体加速进行最佳化,使复杂的 Stable Diffusion 能在 Snapdragon 8 Gen
2 顺利执行。
为了使复杂的 FP32 模型可在行动处理器执行,团队首先利用自行开发的 AI Model
Efficiency Tool Kit ( AIMET )工具将 FP32 转化为 INT8 ,借助将 FP32 转化为
INT8 ,不仅能提升 AI 模型执行效率,并缩减记忆体频宽达到节能效果。 AIMET 技术中
的 AdaRound (自适应舍入)能够在转化到低精度後维持模型的精度而不须重新训练模型
, Qualcomm AI Research 将这些技术应用在包括文本编码、 VAE 解码与 UNet 等
Stable Diffusion 的结构组件。
https://www.youtube.com/watch?v=B-uojHRr7HE
此外, Qualcomm AI Research 利用高通 AIE 框架将神经网路映射在目标硬体的高效能
执行程序,根据 Qualcomm Hexagon DSP 的硬体架构与记忆体层次结构对操作进行排序,
在提升效能的同时也抑制记忆体溢出;其中部分增强是由 AI 最佳化研究人员与编译器工
程团队协作改进 AI 推论中的记忆体管理结果,使 AIE 的整体获得最佳化,并减少执行
的延迟与功耗。
同时,借助 Snapdragon 8 Gen 2 具备的 Micro Tile Inferencing (微块推论)功能,使
复杂的 Stable Diffusion 能够在行动装置执行;不过 Qualcom AI Research 仍期待未
来的 Snapdragon 可具备更强大的算力使效率更为提升;在 Qualcom AI Research 的协
力下,最终在 Snapdragon 8 Gen 2 的装置於 15 秒执行 20 个步骤,并产生 512 x
512 像素的图像,也是目前手机上最快的 AI 绘图表现,几乎能媲美云端服务的速度。
高通认为,边际 AI 时代即将来临,日後使用者可透过针对行动装置最佳化编译的 AI 模
型,不须连接上网路即可执行许多复杂的 AI 应用,。并确保低延迟、网路频宽与隐私权
,除了此次的示范外,高通指出 Stable Diffusion 还能用於影像编辑、影像修复、风格
转换、超解析等影像处理技术。同时高通认为在手机执行 Stable Diffusion 只是一个开
始,意味着未来包括笔电、 XR 头戴显示器皆可由 Stable Diffusion 获得体验增强。
5.心得/评论:
内容须超过繁体中文30字(不含标点符号)。
高通展示自家的产品也可以做到跟苹果手机一样的AI效能
不过是在8Gen2测试
相较於iOS已有人移植Stable Diffusion,近几年出的iPhone都能跑
Android可能还得再等等。
未来看能不能让开发者利用,届时高阶Android手机就可以跑AI相关运算了。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.236.237.40 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MobileComm/M.1677242841.A.D8F.html
1F:→ a27588679: 眼睛都脱窗了 02/24 20:50
2F:推 oppoR20: 以後可以用手机画色图了 02/24 21:37
4F:推 twinkleAshed: 真巧, 上篇文章Po的内容也是同样的东西. 02/24 22:18
5F:→ twinkleAshed: 只是看起来他们用了对应的单元来运算, 而不是硬解. 02/24 22:19
6F:推 banbanzon: 我已经预测到库克在哀凤15发表会上狂吹A17 AI绘图吊打 02/24 22:24
7F:→ banbanzon: 安卓好几条街了 02/24 22:24
8F:推 jhangyu: 赞,坐等有人打包成App 02/25 00:38
9F:推 tcchu: 苹果要吹得等自己的armv9出来吧 可怜生不出来 02/25 14:07
10F:推 kkcity59: armv9只是指令集你愿意花钱买就可以了啊 02/25 18:41
11F:→ kkcity59: 没有所谓的自己的armv9吧?自己要重新定义指令也可以啦 02/25 18:42
12F:→ kkcity59: 现在不满arm跟x86就往risc-v靠拢没谁想再订新指令集了吧 02/25 18:43
13F:推 tcchu: 我是指苹果买armv9自己生的核心 02/25 22:08
14F:→ tcchu: 他大概v8.6跟v9 arm就是两头不同大方向吧 02/25 22:11
15F:→ tcchu: 有点IBM的味道 02/25 22:12
16F:推 kkcity59: 苹果好像就没买arm9授权吧。因为arm9增加的指令条目 02/26 00:46
17F:→ kkcity59: 主要是针对伺服器市场,不管是手机或个人电脑都没什麽用 02/26 00:46
18F:→ kkcity59: 目标其实是Neoverse那些的需求。 02/26 00:49
19F:→ kkcity59: 另外arm v8跟v9其实差不多,讲白了就是扩展SVE2指令 02/26 00:53