※ 引述《ynlin1996 (.)》之铭言： : 原文标题： : AI晶片竞争开跑，谷歌公布第四代TPU，宣称比辉达A100晶片更快更节能 : 原文连结： : https://bit.ly/3meYAG8 : 发布时间： : 2023.4.6 : 记者署名： : 茋郁 : 原文内容： : 谷歌於2023年4月5日公布了其用於训练AI模型的超级电脑的新细节，称该系统比辉达的同类型系统A100更快、更节能。虽然现今大多数涉足AI领域的公司的处理能力都来自辉达的晶片，但谷歌设计自己客制化晶片Tensor Processing Unit（TPU）期望能够推动其在AI研究。 : 谷歌是在COVID-19大流行高峰期间宣布了其Tensor晶片，当时从电子到汽车的企业面临晶片短缺的困境。由於谷歌看到苹果在客制化晶片的投入，帮助了iPhone以及其他产品的开发。因此最初该晶片是为其Pixel智慧型手机提供动力，可是历经几年之後，谷歌将TPU延伸至更多领域，可见得其开发方面取得了长足的进步。 : 如今谷歌90%以上的AI训练工作都使用这些晶片，即通过模型提供数据的过程，使它们在诸如类似人类的文字查询或生成影像等任务中发挥作用。 : 谷歌TPU现在已经是第四代了。之所以世代晶片发展那麽迅速的关键在於，谷歌使用AI来设计其TPU晶片。谷歌声称，与人类花费数月时间设计晶片相比，使用AI设计晶片仅需要6小时即可完成设计过程。 : 一旦采用AI设计晶片，产品迭代都在迅速发生，这就是TPU进入第四代的原因。未来随着生成式AI的快速发展，将造成大型语言模型的规模呈现爆炸式成长，这意味着它们太大而无法储存在单颗晶片上。所以谷歌客制化开发的光讯号交换器将4,000多颗晶片串在一起成为一台超级电脑，以帮助连接各个机器。此外，微软也是将晶片拼接在一起以满足OpenAI的研究需求。 : 谷歌指出，PaLM模型——其迄今为止最大的公开披露的语言模型——通过在50天内将其拆分到4,000颗晶片超级电脑中的两个来进行训练。更重要的是，其超级电脑可以轻松地动态重新配置晶片之间的连接，有助於避免出现问题并进行调整以提高性能。 : 谷歌除了自己使用TPU之外，一家新创公司Midjourney使用该系统训练其模型，该模型在输入几句文字後即可生成新影像。 : 可是谷歌并没有将其第四代晶片与辉达目前的旗舰H100晶片进行比较。谷歌暗示它可能正在开发一种新的TPU，它将与辉达H100展开竞争。 : 总之，随着生成式AI的崛起，AI晶片的开发脚步将成为下一个厂商积极介入的领域，以抢夺未来商机。 : 心得/评论： : Google公布第四代TPU，并宣称比NVIDIA A100更快更节能，其客户Midjourney利用TPU训练其模型再输入文字後生成图片。 周末下班闲聊, 发现tech版没有这篇文章, 那就在这里讨论好了, 其实我说的东西都是网路 google+wiki 就有的东西, 先简单说明一下现代化的ML DeepLearning的基本概念, 其实就是用暴力法把整个model 放进去 GPU/TPU 里头training/inference, 这会有两个最大的限制, 硬体速度跟GPU/TPU记忆体容量, 硬体太慢跑不动或跑太久, GPU/TPU记忆体容量太小的话是连跑都不能跑, 我几年前在板上分享的TQQQ DeepLearning 预测股价的模型, 需要8GB 的 GPU VRAM 维基小百科之後就回到主题: ChatGPT, 目前所有的聊天机器人模型通通都是LLM, https://en.wikipedia.org/wiki/Wikipedia:Large_language_models GPT-3 需要VRAM 175GB, 股歌微软OpenAI 这几家的模型一定远远超过这个大小, 大上数百倍都有可能, 我是做硬体晶片的, 不要问我model 这块的问题, 所以现在这些聊天机器人模型最大的问题是整个系统无法塞下model training, 所以这篇文章的重点在这句话: "谷歌客制化开发的光讯号交换器将4,000多颗晶片串在一起", 只能这麽做才有办法塞下这麽大的model training, Nvidia 也有类似的技术叫做 NVLink, 可以把电脑上数个Nvidia 显卡串联运算, 但是如果模型大到一台电脑显卡全部插满都塞不下运算的话, 我就不知道Nvidia 如何解决, 但是我相信Nvidia 一定有解决的方法 所以现在问题已经提升到整个系统端, 而不是我的晶片跑多快这麽简单的问题, 软体跟模型要如何切割如何分配塞入多台超级电脑, 硬体方面如何塞入最大的模型做运算 说个题外话, 我几年前做了一个project, AI 晶片与系统研发的project, 最近拿到公司的大奖, 不是新闻这个TPU, 我跟开发model 的对口同事讨论过, 是否能够拿我们开发的这个系统来跑Chat model, 得到答案是否定的, 至少现阶段还无法做到, 原因很简单, VRAM 不够大, 塞不下model, 但是他们model 部门也有在想办法要细切 model 看可不可以塞进去这个系统, 所以速度已经不是最重要的考量了, 至於速度, 两年前应该是全世界最快的晶片+系统, 可惜 VRAM 不够大, 原本运用方向就不是要做chat --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 24.5.140.41 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1680851343.A.8CF.html 整个机房就需要switch 串联 GPU/TPU, 也就是原文里头说的客制化开发的光讯号交换器, 不然你无法做到多台电脑同步运算同一model, 另外一个做法就是用纯软体的方式细切model 分别塞到个别机器, 也就是我的对口同事正在尝试要做的solution ※ 编辑: waitrop (24.5.140.41 美国), 04/07/2023 15:20:49 公司内部的project 内容不能说太多, 我只能说在电脑历史上单一超级电脑或是分散运算小电脑, 这两个方向已经吵了五六十年以上, 目前Chat model 的确是只有单一超级电脑才能运算, 但是我相信以後一定有解决方法可以用分散运算小电脑, 当年我在做这个AI project的时候, 也是公司两派立场的争论: 单一超级或是分散小电脑, 我的project 的研发方向是用分散运算方式去解决AI问题, 可是现在卡关在chat model, 但是我相信未来一定是分散运算的方式, 因为观看人类电脑历史, 没有例外都是分散运算小电脑最後得到胜利 ※ 编辑: waitrop (24.5.140.41 美国), 04/07/2023 15:44:32 ※ 编辑: waitrop (24.5.140.41 美国), 04/07/2023 15:45:24 Nvidia跟谷歌, 只有这两家可以做出chat 的系统, 只是Nvidia 真的股价有点高 ※ 编辑: waitrop (24.5.140.41 美国), 04/08/2023 09:43:38