※ 引述《teddy98 (泰迪!走吧!)》之铭言： : 我来说说，为甚麽说，AI需求是供应商精心设下的套路吧！ : 刚踏入AI的人 : 可能会觉得，AI的神经网路演算法(大规模平行矩阵运算)， : 好吃硬体资源啊，硬体规格的需求好大，几乎看不到天花板。 : 所以，很多人会有＂AI算力需求是永无止尽的＂这种错觉， : 但用久了开始熟悉AI之後，你会发现， : 其实AI庞大的硬体需求，是一种供应商精心铺设好的套路 : 也是一种吹捧、夸大其辞的行销手段。 : 为甚麽会这样讲？ : 第一，AI模型的节点不一定有经过优化（化繁为简） : 拿软体来比喻，一个source code写很烂的软体，没有经过优化， : 如递回运算，消耗掉比正常高2~3倍以上的硬体资源。 : 会占用大量的 GPU VRAM 和运算周期。 : 这时，你怪的不是AI模型烂，而是AI算力不够？ : 第二，AI模型的运算流程可以分批次进行 : 一个步骤，可以切成4个子步骤进行，用For循环4次执行 : 如生成式绘图，如果一张解析度非常大的图像， : 切割成4个区块，用For循环做4个批次处理，再用TTP图像拼接/重组， : 将4个处理好的图像做合并 : ＂可以大幅减少AI在运算时VRAM的占用量。＂ : 这部分算是AI行家才知道的机密，供应商绝对不会和消费者说。 : 因为要是让你知道了，你就不会为了增大VRAM升级你的显示卡或DRAM了。 : 前阵子，我在看GPU规格时，VRAM总是找不到16G以上的规格， : 现在回想，果真是中了NVIDIA的市场行销套路。 : 因为，辉达，配备VRAM 24G以上的唯独最顶级90系列的GPU才有， : 如: RTX 3090, RTX 4090, RTX 5090 : 现在回想，当时是差点中计了，浪费钱买RTX 5090是不必要的。 : 因为AI算法再怎麽吃资源，也是能透过优化和分批处理，来解决硬体配备不足的部分。 : 实测後，再高解析度的绘图，12G的绘图卡也能胜任。 : 也不需因为GPU记忆体的配置比较低而选用低精度的模型，fp16照样可以跑得很顺畅。 : 目前生成式AI的发展非常快，模型也渐趋成熟了， : 只要巧妙地设置好AI的流程，好像也说不上，需要多高阶的硬体规格来跑AI模型。 : 而且现在的AI模型不断推陈出新，新的AI模型的容量也越来越小。 : 占用的GPU资源也明显下降。 : 大部分旧模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美运行。 : 不管是文字图片精修，影像P图，视讯P图，设好对的节点，低配的GPU也能完美优化。 : 现在那些号称＂专家＂或＂分析师＂的家伙 : 对於AI的硬体需求越开越高，到达浮滥的地步， : 会有这种现象，很大程度上是供应商（辉达）精心设下的套路。 : 也是为了喊多股市的一种噱头。 删一些 类似的讨论不就是之前deepseek那时早就讲过了 实际上就是模型可以优化，那优化过的在更强的硬体上跑不就更好了? 算力要够了，就是现在算力产出的东西"够用了"不必再更快，更好了 龙虾取代所有人工了没? gemini还是哪家ai屌打所有专家和人类了没? 或是你的例子，小模型都追上大模型了没? 实际上还愈差愈多 应用卡在每瓦的token产出，token不缺了没? 不够的话老黄下代产品让你同样每瓦产出多三倍、五倍、十倍，要不要买? 这些还只是llm喔，之後有没有大变化还难说，那七巨头要不要买保险? 所以提出的问题是软体会一直优化，到时抄就好了，欧印硬体反而更实在 这也是现在巨头们在干的事， 优化大家都会做，优化後可以拿同样硬体资源干更多事， 是等比放大效率，你说的是人们不需要更高的效率，目前不是这样。 要讨论老问题，资金够不够这样一样砸还比较实际 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.25.147.10 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1774151531.A.72D.html