作者LimYoHwan (gosu mage)
看板Stock
標題[請益] 魔改舊顯卡
時間Sun Feb 2 22:38:25 2025
個人是不太了解, 因為也不是AI專家
現在看到中國在魔改二手顯卡跑一些千億級參數大模型推理和優化
他們拿這些二手顯卡跑 運行DeepSeek-Vision R1 72B、Llama 3.2 Vision 90B、Qwen2.5 72B和Qwen1.5 130B
就問了chatgpt這些大模型，通常需要高端什麼GPU。
回答就這張圖
https://i.imgur.com/cTD1LBh.png
但是中國現在魔改二手顯卡, 竟然也能跑
以下這台經過chatgpu比較,相當於H200 141GB × 1, 售價23000人民幣
88g顯存大模型推理機器，深度學習主機，四卡水冷2080ti22g一體機，GPU服務器，88g
vRAM服務器，ai繪圖服務器
deepseek-r1 32b能到20token/s
待機46分貝，4張卡溫度31℃，超級靜音，非常適合家用。
整機所有配件保修一年，讓您省時省力省心
，把主要精力與時間放在模型開發與應用上，不必操心硬件的穩定性。
帶觸摸屏幕
配置單如下：
CPU：epyc7402
顯卡：2080ti魔改22g＋一體水×4
主板：epycd8
內存：ddr4 3200 recc 64g
硬盤：鎧俠rc20 2t
電源：長城2000w金牌電源
機箱：瓦爾基里vk02，帶10.1寸觸摸屏幕
https://i.imgur.com/iTtlDiZ.jpeg
https://i.imgur.com/toc6Oh7.jpeg
https://i.imgur.com/H9w8Adj.jpeg
這樣大量搞起來, 會是對nvda毀滅性的打擊嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.172.116 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1738507108.A.06B.html
1F：推 breathair : 99nvdl 02/02 22:40
2F：推 b455104 : deepseek對輝達本來就是大利空 02/02 22:41
3F：推 realmd : 0 土砲的東西不可能大規模量產 就玩票性質 02/02 22:41
4F：推 stocktonty : 輝達山寨系列 終於生出來了!?要不要改叫CVIDIA 02/02 22:41
5F：推 sova0809 : 這種個體跟diy可以玩玩 商家需求就算了吧 02/02 22:43
6F：推 jfw616 : iphone 6也能用…為何需要iphone 16 02/02 22:45
7F：→ jfw616 : 我都還在用win xp…誰電腦升級win 11了 02/02 22:45
8F：推 sdbb : Win2000再戰十年 02/02 22:46
9F：推 ULTIMA1002 : DS就是不用依賴cuda這個架構,只要是GPU都可 02/02 22:48
10F：推 tangolosss : 沒有openAI的問答集 deepshit也做不出什麼鳥屁 02/02 22:50
11F：推 aspirev3 : 我覺得甚麼2TB內存部屬671B完整版模型有用一些 02/02 22:52
12F：推 karta513165 : 還以為走錯板 02/02 22:54
13F：推 c41231717 : 這種要求的是穩定性 你不穩定要怎麼獲利 02/02 22:54
14F：→ kevinmeng2 : 中國很多土炮的，但穩定度跟安全性都不佳， 02/02 22:55
15F：→ kevinmeng2 : 也不能量產，不能當作常態，只能當作奇蹟 02/02 22:55
16F：推 JasonKOU : 就我理解 ds還是採用nvidia的ptx 02/02 22:55
17F：推 sharkman1793: 為什麼是用2080ti? 02/02 22:55
18F：→ JasonKOU : 所以應該不是什麼gpu都可以 02/02 22:55
19F：→ kevinmeng2 : 有興趣可以上yt 找土炮4090電腦顯卡上筆電顯卡一樣 02/02 22:56
20F：→ kevinmeng2 : 可以用，效果也超好，但重量八公斤，還能叫筆電嗎 02/02 22:56
21F：推 guanting886 : 魔改的要做大家做得到 真的這樣就夠不會有人需要特 02/02 22:59
22F：→ guanting886 : 別花錢買伺服器/工作站 02/02 22:59
23F：推 tsubasawolfy: 你以為伺服器是在賣心酸的嗎 02/02 23:01
24F：推 paulgao : 當然都可以跑，差在算力啊，蓋房子一個人也能蓋，但 02/02 23:01
25F：→ paulgao : 專業的工人+數量快很多吧 02/02 23:01
26F：推 stlinman : NVIDIA Project DIGITS 才3000美金，何必買土炮？ 02/02 23:03
27F：→ Rattlesnake : ebay上就有h100深圳出貨的了改個鳥不會直接買 02/02 23:05
28F：→ Rattlesnake : 美國管制根本就是笑話 02/02 23:06
29F：→ KiwiSoda01 : 訓練跟運行是兩回事 02/02 23:07
30F：推 OhtaniHR : 這種就算效能可行 沒辦法大量生產就不可能有啥決定 02/02 23:07
31F：→ OhtaniHR : 性的影響 02/02 23:07
32F：推 jiansu : 這個真的不如上了 nv project digits 或是amd str 02/02 23:08
33F：→ jiansu : ix halo128gb 32b模型實在不值得這樣搞 至少70b 要 02/02 23:08
34F：→ jiansu : 搞直接上671b的模型 02/02 23:08
35F：推 guanting886 : 做等project digits 我記得五月 3000美金真的很甜 02/02 23:09
36F：→ guanting886 : 只怕又被黃牛掃光了 02/02 23:09
37F：→ KiwiSoda01 : 拿蓋房子來說 蓋房子 裝潢不能放在同一個水準 更何 02/02 23:10
38F：→ KiwiSoda01 : 況你這個例子連裝潢都沒有 只是搬進去住而已 02/02 23:10
39F：推 wahaha99 : 因為2080ti才有NVLINK 後面還有一張3090 02/02 23:10
40F：→ wahaha99 : 之後的都拿掉了 02/02 23:10
41F：推 stocktonty : 這就是超頻者天堂的樂趣啊 真懷念 02/02 23:11
42F：噓 f12sd2e2aa : 這是認真文？哪個大公司會這樣幹 02/02 23:11
43F：→ destroyss : 魔改是取下4090核心裝在3090的PCB板上加上48G ram 02/02 23:12
44F：→ destroyss : 跑推理 2080Ti太舊了 02/02 23:12
45F：→ abc21086999 : ? 02/02 23:12
46F：→ abc21086999 : 這篇文章是認真的嗎 02/02 23:12
47F：→ yinaser : 目前已經有人用A6000跑離線671b模型做股票分析了 02/02 23:14
48F：推 bpq302302 : 改到爆再快也只是86 02/02 23:14
49F：→ yinaser : 只能說這成本低得離譜 02/02 23:16
50F：→ jamesattw : 可以跑跟跑的快不一樣 02/02 23:19
51F：噓 LiamTiger : 這又沒辦法大規模企業化== 02/02 23:19
52F：→ vodkalime607: 以前很多台灣玩家很多人醬玩 02/02 23:19
53F：推 duriamon : 老黃刀法就是垃圾 02/02 23:19
54F：推 stlinman : Jetson Orin Nano Super應該也是跑得動Deepseek蒸餾 02/02 23:19
55F：→ LiamTiger : 你用一百個奧運腳踏車選手一起出力騎一台車，也拼 02/02 23:20
56F：→ LiamTiger : 不過裝法拉利引擎的汽車 02/02 23:20
57F：推 alex5566 : 不用想太多 軍火都能從黑市走私 晶片怎麼會做不到 02/02 23:20
58F：→ alex5566 : 一定有辦法拿到高階的來用 02/02 23:20
59F：推 zip00000 : 能跑但是智商可能不超過50 你懂我意思嗎？ 02/02 23:21
60F：推 epephanylo : ....我想問問 幾張5090能順跑DS?? 02/02 23:21
61F：→ zip00000 : 重點怎麼會放在能不能跑？應該是多聰明吧 02/02 23:22
62F：→ duriamon : 現在開源AI離線inference的瓶頸不是晶片性能，而是 02/02 23:22
63F：→ neo5277 : 也不是不行啦，便宜有便宜的玩法 02/02 23:22
64F：→ duriamon : 老黃VRAM故意給你砍讓你無法跑，呵呵！ 02/02 23:22
65F：推 SRNOB : 4090 全改48g 02/02 23:22
66F：→ KY1998 : 你有辦法土炮100台弄成集群穩定跑再說 02/02 23:23
67F：→ neo5277 : 中國張哥那種等級的很多模改不是問題 02/02 23:24
68F：→ duriamon : 重點覺對是能不能跑，你VRAM都不夠模型裝不下，還跑 02/02 23:24
69F：→ duriamon : 什麼鬼？呵呵！ 02/02 23:24
70F：推 SRNOB : 能跑 都有影片了 02/02 23:25
71F：→ duriamon : 會搞魔改就是驅動大語言模型最低的需求是VRAM 02/02 23:25
72F：推 Chilloutt : 隔壁棚 有28 張 ram 用蘇媽apu 衝的 02/02 23:28
73F：推 bj45566 : 這些只是技術宅(如果不直接用"死nerd"這個詞)生活 02/02 23:32
74F：→ bj45566 : 中的小確幸而已 02/02 23:32
75F：推 ImHoluCan : iPhone 8 也可以上網看影片拍照片，幹嘛用iPhone 02/02 23:34
76F：→ ImHoluCan : 16，手機怎麼會有傻子ㄧ直買新的 02/02 23:34
77F：推 lifeterry : 跟疫情時口罩疫苗，over booking 87分像 02/02 23:34
78F：推 onekoni : 這繞過的幅度已經是繞路超車了 02/02 23:36
79F：推 mamorui : 用這個不能賣錢 想想NVLink 02/02 23:37
80F：推 jiansu : 對岸 個人或是小單位應該是用4090魔改48g 品質應該 02/02 23:42
81F：→ jiansu : 還可以 應該是有一個黑色產業鏈在搞 inference門檻 02/02 23:42
82F：→ jiansu : 沒那摸高主要是那個記憶體 所以有Mac 這種有128gb 02/02 23:42
83F：→ jiansu : 拿來搞 project digits就nv 要給的答案 strix hal 02/02 23:42
84F：→ jiansu : o128gb也有機會更便宜 這些都是量產消費產品級 改 02/02 23:42
85F：→ jiansu : 天amd intel直接gpu上大顯存都不意外… 02/02 23:42
86F：→ MacBookAir12: 魔改的有穩定性問題 這只能個人玩玩而已 02/02 23:48
87F：噓 NEX4036 : 卷到爆炸 厲害了我的國 02/02 23:50
88F：推 F93935 : 能跑啊，穩定性呢？再來你說的這些辣雞不會漲價嗎 02/02 23:50
89F：推 neo5277 : 我一張4070ti12g而已跑14B體驗都很好了加到128飛天 02/02 23:50
90F：推 kanehhh : 所以PC利多嗎？ 02/02 23:53
91F：推 neo5277 : 這就是我之前說的只要花得起錢的中小企業都可以自己 02/02 23:56
92F：→ neo5277 : 來在多弄一點連小微調都可以 02/02 23:56
93F：→ neo5277 : 頂多就是老黃的刀會比較不利 02/02 23:57
94F：→ neo5277 : 這就等於以前的黑蘋果 02/02 23:58
95F：→ redbeanbread: 地動山搖 02/02 23:58
96F：推 junshinw : 魔改沒專利嗎？量大鐵定被告啊！你魔改Iphone量大 02/03 00:03
97F：→ junshinw : 不會被告嗎？ 02/03 00:03
98F：→ duriamon : 老黃自己都想賣大陸了告什麼？是皮到被川普拉正，你 02/03 00:07
99F：→ duriamon : 以為老黃討厭大陸喔？川普登基大典不去跑去大陸唱跳 02/03 00:07
100F：→ duriamon : 過新年的咖耶！笑死！ 02/03 00:07
101F：→ takase : 這種魔改犧牲的是零件的壽命,你舊顯卡存貨也不可能 02/03 00:09
102F：→ takase : 那麼多 02/03 00:09
103F：推 huabandd : 中國魔改真的是蠻厲害 02/03 00:15
104F：推 RaiGend0519 : 我還沒看過有商家做iPhone擴容被告的 02/03 00:19
105F：→ RaiGend0519 : 硬體買下來改裝還能被告 太有趣惹 02/03 00:21
106F：→ bndan : 土砲的東西不用多 擺個100組去機房試營運個3個月就 02/03 00:35
107F：→ bndan : 好 能玩的起來的就算你有搞頭..連nv制式的都需要透 02/03 00:35
108F：→ bndan : 過大量汰換才能營運 你這種土砲的玩具 放在要營運 02/03 00:35
109F：→ bndan : 的機房內只會是管理災難而已 想啥呢 == 02/03 00:35
110F：推 Argos : 土砲以前礦潮時早就玩過了 但一改下去沒兩下就燒壞 02/03 00:48
111F：推 jiansu : 看了amd 一下7900xtx 32b q4km 31tk/s新卡售價3w5 02/03 01:13
112F：→ jiansu : 如果你只要deepseek比你這快 應該不用買洋垃圾 02/03 01:13
113F：→ yunf : 兩種作業系統都要用 02/03 01:55
114F：→ yunf : 不試怎麼知道問題在哪？ 02/03 01:55
115F：→ wed1979 : 家庭工作站，佈建一台幫小孩做作業，報告寫得頭頭是 02/03 03:59
116F：→ wed1979 : 道 02/03 03:59
117F：噓 mdkn35 : 洋垃圾真的香 02/03 07:12
118F：→ joeboy : 不要小看左岸魔改能力 02/03 07:15
119F：→ joeboy : 看看張哥，老斯基就知道，業界一堆有能力自己動手 02/03 07:15
120F：→ askaa : 這太爛了拉 我用紅白肌膜改就能跑了 你太花錢了 02/03 07:30
121F：推 horcy : vram能跑不代表回應速度夠快呀 02/03 07:54
122F：推 Homeparty : vRAM的問題 02/03 08:14
123F：推 Homeparty : Nvidia 的tesla系列也是Vram加大而已 02/03 08:18
124F：噓 maplefff : 20 token/s 回家睡覺好嗎 02/03 08:19
125F：→ maplefff : 有空搞這些, 不如上Azure租一下就好 02/03 08:19
126F：推 ILike58 : 真以為老黃的刀法評價假的…… 02/03 08:20
127F：推 Homeparty : 小企業，6人內20token/s這樣是夠了 02/03 08:21
128F：推 Homeparty : 你也會發現很多都是2系列去魔改的，因為這些之前是 02/03 08:31
129F：→ Homeparty : 挖礦卡二次利用，如果會玩水冷等，用Nvidia tesla 02/03 08:31
130F：→ Homeparty : 系列也沒有比較貴 02/03 08:31
131F：→ ActionII : 2系列去魔改的原因是因為還支援多hours串連吧… 02/03 08:39
132F：→ ActionII : *多gpu 02/03 08:39
133F：→ ActionII : 而且這個魔改本來就有了…華強北只有你想不到的 02/03 08:41
134F：推 Poaceae : 20token/s .. 02/03 08:51
135F：推 shiki1988 : 能跑不代表整體沒問題耶 沒做過完整測試鏈沒意義 02/03 10:19
136F：推 jboys75 : 好狂… 02/03 11:02
137F：推 ryuhuang : 拿舊顯卡改大VRAM來跑AI很划算 02/04 16:30
138F：→ ninggo : Project digit的魔改產品可能才真的威猛 02/05 15:59