※ 引述《teddy98 (泰迪!走吧!)》之銘言： : 我來說說，為甚麼說，AI需求是供應商精心設下的套路吧！ : 剛踏入AI的人 : 可能會覺得，AI的神經網路演算法(大規模平行矩陣運算)， : 好吃硬體資源啊，硬體規格的需求好大，幾乎看不到天花板。 : 所以，很多人會有＂AI算力需求是永無止盡的＂這種錯覺， : 但用久了開始熟悉AI之後，你會發現， : 其實AI龐大的硬體需求，是一種供應商精心鋪設好的套路 : 也是一種吹捧、誇大其辭的行銷手段。 : 為甚麼會這樣講？ : 第一，AI模型的節點不一定有經過優化（化繁為簡） : 拿軟體來比喻，一個source code寫很爛的軟體，沒有經過優化， : 如遞迴運算，消耗掉比正常高2~3倍以上的硬體資源。 : 會佔用大量的 GPU VRAM 和運算週期。 : 這時，你怪的不是AI模型爛，而是AI算力不夠？ : 第二，AI模型的運算流程可以分批次進行 : 一個步驟，可以切成4個子步驟進行，用For循環4次執行 : 如生成式繪圖，如果一張解析度非常大的圖像， : 切割成4個區塊，用For循環做4個批次處理，再用TTP圖像拼接/重組， : 將4個處理好的圖像做合併 : ＂可以大幅減少AI在運算時VRAM的占用量。＂ : 這部分算是AI行家才知道的機密，供應商絕對不會和消費者說。 : 因為要是讓你知道了，你就不會為了增大VRAM升級你的顯示卡或DRAM了。 : 前陣子，我在看GPU規格時，VRAM總是找不到16G以上的規格， : 現在回想，果真是中了NVIDIA的市場行銷套路。 : 因為，輝達，配備VRAM 24G以上的唯獨最頂級90系列的GPU才有， : 如: RTX 3090, RTX 4090, RTX 5090 : 現在回想，當時是差點中計了，浪費錢買RTX 5090是不必要的。 : 因為AI算法再怎麼吃資源，也是能透過優化和分批處理，來解決硬體配備不足的部分。 : 實測後，再高解析度的繪圖，12G的繪圖卡也能勝任。 : 也不需因為GPU記憶體的配置比較低而選用低精度的模型，fp16照樣可以跑得很順暢。 : 目前生成式AI的發展非常快，模型也漸趨成熟了， : 只要巧妙地設置好AI的流程，好像也說不上，需要多高階的硬體規格來跑AI模型。 : 而且現在的AI模型不斷推陳出新，新的AI模型的容量也越來越小。 : 占用的GPU資源也明顯下降。 : 大部分舊模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美運行。 : 不管是文字圖片精修，影像P圖，視訊P圖，設好對的節點，低配的GPU也能完美優化。 : 現在那些號稱＂專家＂或＂分析師＂的傢伙 : 對於AI的硬體需求越開越高，到達浮濫的地步， : 會有這種現象，很大程度上是供應商（輝達）精心設下的套路。 : 也是為了喊多股市的一種噱頭。 刪一些 類似的討論不就是之前deepseek那時早就講過了 實際上就是模型可以優化，那優化過的在更強的硬體上跑不就更好了? 算力要夠了，就是現在算力產出的東西"夠用了"不必再更快，更好了 龍蝦取代所有人工了沒? gemini還是哪家ai屌打所有專家和人類了沒? 或是你的例子，小模型都追上大模型了沒? 實際上還愈差愈多 應用卡在每瓦的token產出，token不缺了沒? 不夠的話老黃下代產品讓你同樣每瓦產出多三倍、五倍、十倍，要不要買? 這些還只是llm喔，之後有沒有大變化還難說，那七巨頭要不要買保險? 所以提出的問題是軟體會一直優化，到時抄就好了，歐印硬體反而更實在 這也是現在巨頭們在幹的事， 優化大家都會做，優化後可以拿同樣硬體資源幹更多事， 是等比放大效率，你說的是人們不需要更高的效率，目前不是這樣。 要討論老問題，資金夠不夠這樣一樣砸還比較實際 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.25.147.10 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1774151531.A.72D.html