https://www.51cto.com/article/753228.html 作者：量子位 2023-04-27 13:06:46 人工智能 谷歌的研究员们带来了这篇新成果，名字就叫Speed is all you need： 通过GPU优化加速大规模扩散模型在设备上的推理速度。 只需12秒，只凭手机自己的算力，就能拿Stable Diffusion生成一张图像。 而且是完成了20次迭代的那种。 图片 https://i.imgur.com/pkArN13.png 要知道，现在的扩散模型基本都超过了10亿参数，想要快速生成一张图片， 要么基於云计算，要么就是要本地硬件够强大了。 而随着大模型应用逐渐普及开来，在个人电脑、手机上跑大模型很可能是未来的新趋势。 由此，谷歌的研究员们带来了这篇新成果，名字就叫Speed is all you need： 通过GPU优化加速大规模扩散模型在设备上的推理速度。 图片 https://i.imgur.com/4vHmOVD.png 三步走优化加速 该方法是针对Stable Diffusion来做的优化，但同时也能适应其他扩散模型。 面向的任务是从文本生成图像。 具体优化可以分成三个部分： 设计专门的内核 提升Attention模型效率 Winograd卷积加速 首先来看专门设计的内核，它包括了组归一化和GELU激活函数。 组归一化是在整个UNet体系结构中实现， 这种归一化的工作原理是将特徵映射的通道划分为更小的组，并对每个组独立归一， 使组归一化较少依赖於批大小，并且能适应更大范围的批处理大小和网络架构。 研究人员以GPU着色器（shader）的形式设计了一个独特的核， 能在没有任何中间张量的情况下，在单个GPU命令中执行所有内核。 GELU激活函数中，包含大量的数值计算，如惩罚、高斯误差函数等。 通过一个专用着色器来整合这些数值计算以及伴随的分割和乘法操作， 使得这些计算能放在一个简单的draw call里。 Draw call是CPU调用图像编程接口，命令GPU进行渲染的操作。 接下来，到了提升Attention模型效率方面，论文介绍了两种优化方法。 其一是部分融合softmax函数。 为了避免在大矩阵A上执行整个softmax计算， 该研究设计了一个GPU着色器来计算L和S向量以减少计算， 最终得到一个大小为N×2的张量。 然後将softmax计算和矩阵V的矩阵乘法融合。 这种方法大幅减少了中间程序的内存占用张量和总体延迟。 图片 https://i.imgur.com/ZDsFsIC.png 需要强调的是从A到L、S的计算映射的并行是有限的， 因为结果张量中的元素比输入张量A中的元素数量要少得多。 为了增加并行、进一步降低延迟，该研究将A中的元素组成block， 将归约操作（reduction operations）切分为多个部分进行。 然後在每个block上执行计算，然後将其简化为最终结果。 利用精心设计的线程和内存缓存管理，可以在多个部分实现使用单个GPU命令降低延迟。 另一种优化方法是FlashAttention。 这是去年火起来的IO感知精确注意力算法，具体有两种加速技术： 按块递增计算即平铺、并在後向传递中重新计算注意力， 将所有注意力操作融合到CUDA内核中。 相较於标准Attention，这种方法能减少HBM（高带宽内存）访问，提高整体效率。 不过FlashAttention内核的缓存器密集度非常高（register-intensive）， 所以该团队是有选择性地使用这一优化方法。 他们在注意力矩阵d=40的Adreno GPU和Apple GPU上使用FlashAttention， 其他情况下使用部分融合softmax函数。 第三部分是Winograd卷积加速。 它的原理简单来说就是使用更多的加法计算来减少乘法计算，从而降低计算量。 但弊端也很明显，将会带来更多的显存消耗和数值错误，尤其是在tile比较大的情况时。 Stable Diffusion的主干非常依赖3×3卷积层，尤其是在图像解码器方面， 这里90%的层都是由3×3卷积层构成的。 研究人员分析後发现，在使用4×4大小的tile时， 是模型计算效率和显存利用率的最佳平衡点。 图片 https://i.imgur.com/wANqphp.png 实验结果 为了评估提升效果，研究人员先在手机上进行了基准测试。 图片 https://i.imgur.com/uc9BH79.png 结果表明，两部手机在使用了加速算法後，生成图片的速度都明显提升。 其中三星S23 Ultra的延迟降低了52.2%，iPhone 14 Pro Max上的延迟降低了32.9%。 在三星S23 Ultra上端到端从文本生成一张512×512像素的图片， 迭代20次，耗时在12秒以内。 论文地址：https://arxiv.org/abs/2304.11267 责任编辑：武晓燕 来源： 量子位 --------------------------------------------------------------------- 心得：其实一开始是在 reddit 看到的， https://tinyurl.com/4me2b5de 就顺手 google 一下看有没有中文的翻译消息，只用 google 翻译转繁体 太技术的部分其实也是看不懂， 还有其他消息来源 https://tinyurl.com/mrpkcejc https://twitter.com/_akhaliq/status/1650663797906972674 https://scrapbox.io/work4ai/Speed_Is_All_You_Need 其实都大同小异， 对轻量级使用者应该算好消息吧， 就不用买贵贵显卡， 旗舰级手机上 12 秒就可以生成图片， 而且明明苹果哀凤 14 pro 只有 6G 记忆体吧？ 中低阶手机就不知道慢多少？再等之後看有没有其他技术人员测试 不过手机当然是实用多罗， 且每个人都有的。 -- Q 人类基本需求2.0 ◢◣ █ 自我实现 创意.问题解决.真伪.自发性 S ◢██◣ █ 尊重需求 自尊.自信.成就感 W ◢████◣ █ 社交需求 E ◢██████◣ █ 安全需求 E ◢████████◣ █ 生存需求 空气.水.食物.住所 T ▄▄▄▄▄▄▄▄▄▄▄▄ █ WiFi█ 电池 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.167.24.125 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1682587538.A.15C.html ※ 编辑: deepdish (118.167.24.125 台湾), 04/27/2023 17:52:31