作者zzahoward (Cheshire Cat)
看板Stock
標題Re: [新聞] AMD處理器壓倒性勝利 市佔率飆至92%
時間Thu Feb 6 10:24:38 2025
關於AMD呢，在老黃GPU又貴產量又少的狀態下
目前已經不少人找方法剔除不用GPU的方式去建立Local LLaMA了
在R1橫空出世後的一個多月內，大量公司/個人小型workstation已經開發出一些東西
之後系統商和模型/權重持續最佳化狀態下，應該能有更好的產出
簡單來說，這套系統最重要的就是RAM頻寬和大小
所以使用EPYC MZ73板子，可以有24個DDR5通道
全部插滿32GB ram，啟動時有足夠的SSD空間把R1丟到RAM裡面就好
這樣的設定可以在Q8狀態下去跑完整模型，而不是蒸餾過的
當然，這樣的配置不會有700GB VRAM的機器還快
但你有700GB VRAM的設備大概要12萬USD左右
以目前這套大概不到6000 USD就可以組出來的設備，產出約在6~8tok/s左右
但要是AMD和系統廠能夠合作推出更專業的產品
R1目前的開源以及社群的熱絡，可以讓老黃的GPU變成CP值超低的奢侈品
而目前EPYC這樣的配置，已經足夠多數中小型企業/軟體公司使用
甚至比你去租賃算力還便宜
AMD就算GPU在搞笑，但AI的部分絕對不會缺席
只要老黃故意把VRAM卡在那邊拿翹
拿時間換錢的企業和個人使用者不需要那麼快的生成
AMD和系統廠包裝一下大有搞頭好嗎
BTW，因為主要瓶頸是RAM頻寬和大小，所以CPU本身也不用太高階的，夠算就好了
就算用9115或是9015也不會損失太多
能耗部分也很省，上面那組系統耗電量大概就是在400W左右
想想你跟老黃買到700GB的Vram去佈署，要花多少電XDDD
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 136.226.240.114 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1738808680.A.A73.html
1F：推 uke823 : 99AMD 02/06 10:25
2F：噓 BMTH5566 : apple： 02/06 10:26
M4 pro也可以跑喔，效率非常好，只是水果店RAM都焊死的超貴
所以只能跑蒸餾過得比較好
※ 編輯: zzahoward (136.226.240.114 臺灣), 02/06/2025 10:30:37
3F：推 jeangodard : LLM後 AI的下一步是什麼 02/06 10:32
4F：→ LDPC : 5090就夠了 還有之後的老黃Project DIGITS 02/06 10:34
5F：推 stlinman : 訓練和推理本來存在差異。目前CP值應該租賃算力<本 02/06 10:38
6F：→ goodjop : 這比較偏終端吧 別老是拿終端比雲端 02/06 10:39
7F：→ stlinman : 地部屬。 除非有資訊安全、隱私的需求不然長期還是 02/06 10:39
8F：→ stlinman : 偏雲端。 02/06 10:40
9F：→ stlinman : 租賃算力 > 本地部屬 02/06 10:41
10F：→ jayemshow : 我也是這樣想 買入AMD套到現在 供參 02/06 10:50
11F：推 Roger5566 : 推 所以AMD可以進場囉 02/06 10:54
12F：→ lc85301 : 99AMD 02/06 10:55
13F：→ bnn : 99AMD 沒啦 這表示板子頻寬問題 要炒CPO嗎 02/06 10:55
14F：推 CMPunk : 我等AMD二位數再進場 沒有就算了 02/06 10:58
15F：→ JoeyChen : 教主會再出山嗎 02/06 11:06
16F：噓 PureAnSimple: 要做多了嗎？只分析沒錢賺 02/06 11:37
17F：推 koebel0521 : 99 AMD 02/06 11:43
18F：→ v21638245 : 想太多，amd寄生售價還少嗎 02/06 11:47
19F：推 s987692 : 股版一堆人還在看gaap eps…真的傻眼 02/06 11:54
20F：→ wr : 簡單來說~ 99AMD 02/06 11:56
21F：推 kuan870704 : 想太多，AMD只要發現這樣有利可圖馬上就會漲價到cp 02/06 11:59
22F：→ kuan870704 : 值跟老黃一樣低ㄏㄏ 02/06 11:59
23F：→ kuan870704 : 黑暗騎士的小丑就說過了如果你很擅長某件事千萬別免 02/06 12:00
24F：→ kuan870704 : 費去做 02/06 12:00
25F：推 mcgrady12336: 你這篇一年前彥州包圍網講過了，後來他也放棄直接 02/06 12:04
26F：→ mcgrady12336: 投奔老黃，八成又什麼技術壟斷無法短期克服 02/06 12:04
27F：→ ader888 : 絕對不會缺席，只是不公布營收了 02/06 12:09
28F：推 deann : 水果店的RAM可以變成VRAM來用 02/06 12:10
29F：→ IBIZA : 這篇講的跟AMD沒有直接關係 02/06 12:36
30F：→ IBIZA : 這篇是說你可以用支援多通道記憶體的CPU架構, 把完 02/06 12:47
31F：→ IBIZA : 整版的R3 load到記憶體跑, 只要記憶體有三百多G就可 02/06 12:51
32F：→ IBIZA : 以 02/06 12:51
33F：推 moike22 : AMD:我的股價不是這麼說的QQ 02/06 12:53
34F：噓 LMgogo : 股價？ 02/06 13:30
35F：噓 lise1017 : 大量公司早就已經不用晶片來訓練模型了 最新發現原 02/06 13:37
36F：→ lise1017 : 來用泡麵也可以訓練大模型 有人正在嘗試看看用麥香 02/06 13:37
37F：→ lise1017 : 能不能 你還在用晶片 呵呵 02/06 13:37
38F：→ lise1017 : 用300x300的阿Q桶麵訓練出來的大模型效率居然等同 02/06 13:39
39F：→ lise1017 : GPT 據說泡菜口味效能更甚 02/06 13:39
40F：推 Lowpapa : 晶片已死 02/06 15:56
41F：推 youtrue : 結果股價一塌糊塗 02/06 16:24