作者LimYoHwan (gosu mage)
看板Stock
标题[请益] 魔改旧显卡
时间Sun Feb 2 22:38:25 2025
个人是不太了解, 因为也不是AI专家
现在看到中国在魔改二手显卡跑一些千亿级参数大模型推理和优化
他们拿这些二手显卡跑 运行DeepSeek-Vision R1 72B、Llama 3.2 Vision 90B、Qwen2.5 72B和Qwen1.5 130B
就问了chatgpt这些大模型，通常需要高端什麽GPU。
回答就这张图
https://i.imgur.com/cTD1LBh.png
但是中国现在魔改二手显卡, 竟然也能跑
以下这台经过chatgpu比较,相当於H200 141GB × 1, 售价23000人民币
88g显存大模型推理机器，深度学习主机，四卡水冷2080ti22g一体机，GPU服务器，88g
vRAM服务器，ai绘图服务器
deepseek-r1 32b能到20token/s
待机46分贝，4张卡温度31℃，超级静音，非常适合家用。
整机所有配件保修一年，让您省时省力省心
，把主要精力与时间放在模型开发与应用上，不必操心硬件的稳定性。
带触摸屏幕
配置单如下：
CPU：epyc7402
显卡：2080ti魔改22g＋一体水×4
主板：epycd8
内存：ddr4 3200 recc 64g
硬盘：铠侠rc20 2t
电源：长城2000w金牌电源
机箱：瓦尔基里vk02，带10.1寸触摸屏幕
https://i.imgur.com/iTtlDiZ.jpeg
https://i.imgur.com/toc6Oh7.jpeg
https://i.imgur.com/H9w8Adj.jpeg
这样大量搞起来, 会是对nvda毁灭性的打击吗？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.243.172.116 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738507108.A.06B.html
1F：推 breathair : 99nvdl 02/02 22:40
2F：推 b455104 : deepseek对辉达本来就是大利空 02/02 22:41
3F：推 realmd : 0 土炮的东西不可能大规模量产 就玩票性质 02/02 22:41
4F：推 stocktonty : 辉达山寨系列 终於生出来了!?要不要改叫CVIDIA 02/02 22:41
5F：推 sova0809 : 这种个体跟diy可以玩玩 商家需求就算了吧 02/02 22:43
6F：推 jfw616 : iphone 6也能用…为何需要iphone 16 02/02 22:45
7F：→ jfw616 : 我都还在用win xp…谁电脑升级win 11了 02/02 22:45
8F：推 sdbb : Win2000再战十年 02/02 22:46
9F：推 ULTIMA1002 : DS就是不用依赖cuda这个架构,只要是GPU都可 02/02 22:48
10F：推 tangolosss : 没有openAI的问答集 deepshit也做不出什麽鸟屁 02/02 22:50
11F：推 aspirev3 : 我觉得甚麽2TB内存部属671B完整版模型有用一些 02/02 22:52
12F：推 karta513165 : 还以为走错板 02/02 22:54
13F：推 c41231717 : 这种要求的是稳定性 你不稳定要怎麽获利 02/02 22:54
14F：→ kevinmeng2 : 中国很多土炮的，但稳定度跟安全性都不佳， 02/02 22:55
15F：→ kevinmeng2 : 也不能量产，不能当作常态，只能当作奇蹟 02/02 22:55
16F：推 JasonKOU : 就我理解 ds还是采用nvidia的ptx 02/02 22:55
17F：推 sharkman1793: 为什麽是用2080ti? 02/02 22:55
18F：→ JasonKOU : 所以应该不是什麽gpu都可以 02/02 22:55
19F：→ kevinmeng2 : 有兴趣可以上yt 找土炮4090电脑显卡上笔电显卡一样 02/02 22:56
20F：→ kevinmeng2 : 可以用，效果也超好，但重量八公斤，还能叫笔电吗 02/02 22:56
21F：推 guanting886 : 魔改的要做大家做得到 真的这样就够不会有人需要特 02/02 22:59
22F：→ guanting886 : 别花钱买伺服器/工作站 02/02 22:59
23F：推 tsubasawolfy: 你以为伺服器是在卖心酸的吗 02/02 23:01
24F：推 paulgao : 当然都可以跑，差在算力啊，盖房子一个人也能盖，但 02/02 23:01
25F：→ paulgao : 专业的工人+数量快很多吧 02/02 23:01
26F：推 stlinman : NVIDIA Project DIGITS 才3000美金，何必买土炮？ 02/02 23:03
27F：→ Rattlesnake : ebay上就有h100深圳出货的了改个鸟不会直接买 02/02 23:05
28F：→ Rattlesnake : 美国管制根本就是笑话 02/02 23:06
29F：→ KiwiSoda01 : 训练跟运行是两回事 02/02 23:07
30F：推 OhtaniHR : 这种就算效能可行 没办法大量生产就不可能有啥决定 02/02 23:07
31F：→ OhtaniHR : 性的影响 02/02 23:07
32F：推 jiansu : 这个真的不如上了 nv project digits 或是amd str 02/02 23:08
33F：→ jiansu : ix halo128gb 32b模型实在不值得这样搞 至少70b 要 02/02 23:08
34F：→ jiansu : 搞直接上671b的模型 02/02 23:08
35F：推 guanting886 : 做等project digits 我记得五月 3000美金真的很甜 02/02 23:09
36F：→ guanting886 : 只怕又被黄牛扫光了 02/02 23:09
37F：→ KiwiSoda01 : 拿盖房子来说 盖房子 装潢不能放在同一个水准 更何 02/02 23:10
38F：→ KiwiSoda01 : 况你这个例子连装潢都没有 只是搬进去住而已 02/02 23:10
39F：推 wahaha99 : 因为2080ti才有NVLINK 後面还有一张3090 02/02 23:10
40F：→ wahaha99 : 之後的都拿掉了 02/02 23:10
41F：推 stocktonty : 这就是超频者天堂的乐趣啊 真怀念 02/02 23:11
42F：嘘 f12sd2e2aa : 这是认真文？哪个大公司会这样干 02/02 23:11
43F：→ destroyss : 魔改是取下4090核心装在3090的PCB板上加上48G ram 02/02 23:12
44F：→ destroyss : 跑推理 2080Ti太旧了 02/02 23:12
45F：→ abc21086999 : ? 02/02 23:12
46F：→ abc21086999 : 这篇文章是认真的吗 02/02 23:12
47F：→ yinaser : 目前已经有人用A6000跑离线671b模型做股票分析了 02/02 23:14
48F：推 bpq302302 : 改到爆再快也只是86 02/02 23:14
49F：→ yinaser : 只能说这成本低得离谱 02/02 23:16
50F：→ jamesattw : 可以跑跟跑的快不一样 02/02 23:19
51F：嘘 LiamTiger : 这又没办法大规模企业化== 02/02 23:19
52F：→ vodkalime607: 以前很多台湾玩家很多人酱玩 02/02 23:19
53F：推 duriamon : 老黄刀法就是垃圾 02/02 23:19
54F：推 stlinman : Jetson Orin Nano Super应该也是跑得动Deepseek蒸馏 02/02 23:19
55F：→ LiamTiger : 你用一百个奥运脚踏车选手一起出力骑一台车，也拼 02/02 23:20
56F：→ LiamTiger : 不过装法拉利引擎的汽车 02/02 23:20
57F：推 alex5566 : 不用想太多 军火都能从黑市走私 晶片怎麽会做不到 02/02 23:20
58F：→ alex5566 : 一定有办法拿到高阶的来用 02/02 23:20
59F：推 zip00000 : 能跑但是智商可能不超过50 你懂我意思吗？ 02/02 23:21
60F：推 epephanylo : ....我想问问 几张5090能顺跑DS?? 02/02 23:21
61F：→ zip00000 : 重点怎麽会放在能不能跑？应该是多聪明吧 02/02 23:22
62F：→ duriamon : 现在开源AI离线inference的瓶颈不是晶片性能，而是 02/02 23:22
63F：→ neo5277 : 也不是不行啦，便宜有便宜的玩法 02/02 23:22
64F：→ duriamon : 老黄VRAM故意给你砍让你无法跑，呵呵！ 02/02 23:22
65F：推 SRNOB : 4090 全改48g 02/02 23:22
66F：→ KY1998 : 你有办法土炮100台弄成集群稳定跑再说 02/02 23:23
67F：→ neo5277 : 中国张哥那种等级的很多模改不是问题 02/02 23:24
68F：→ duriamon : 重点觉对是能不能跑，你VRAM都不够模型装不下，还跑 02/02 23:24
69F：→ duriamon : 什麽鬼？呵呵！ 02/02 23:24
70F：推 SRNOB : 能跑 都有影片了 02/02 23:25
71F：→ duriamon : 会搞魔改就是驱动大语言模型最低的需求是VRAM 02/02 23:25
72F：推 Chilloutt : 隔壁棚 有28 张 ram 用苏妈apu 冲的 02/02 23:28
73F：推 bj45566 : 这些只是技术宅(如果不直接用"死nerd"这个词)生活 02/02 23:32
74F：→ bj45566 : 中的小确幸而已 02/02 23:32
75F：推 ImHoluCan : iPhone 8 也可以上网看影片拍照片，干嘛用iPhone 02/02 23:34
76F：→ ImHoluCan : 16，手机怎麽会有傻子ㄧ直买新的 02/02 23:34
77F：推 lifeterry : 跟疫情时口罩疫苗，over booking 87分像 02/02 23:34
78F：推 onekoni : 这绕过的幅度已经是绕路超车了 02/02 23:36
79F：推 mamorui : 用这个不能卖钱 想想NVLink 02/02 23:37
80F：推 jiansu : 对岸 个人或是小单位应该是用4090魔改48g 品质应该 02/02 23:42
81F：→ jiansu : 还可以 应该是有一个黑色产业链在搞 inference门槛 02/02 23:42
82F：→ jiansu : 没那摸高主要是那个记忆体 所以有Mac 这种有128gb 02/02 23:42
83F：→ jiansu : 拿来搞 project digits就nv 要给的答案 strix hal 02/02 23:42
84F：→ jiansu : o128gb也有机会更便宜 这些都是量产消费产品级 改 02/02 23:42
85F：→ jiansu : 天amd intel直接gpu上大显存都不意外… 02/02 23:42
86F：→ MacBookAir12: 魔改的有稳定性问题 这只能个人玩玩而已 02/02 23:48
87F：嘘 NEX4036 : 卷到爆炸 厉害了我的国 02/02 23:50
88F：推 F93935 : 能跑啊，稳定性呢？再来你说的这些辣鸡不会涨价吗 02/02 23:50
89F：推 neo5277 : 我一张4070ti12g而已跑14B体验都很好了加到128飞天 02/02 23:50
90F：推 kanehhh : 所以PC利多吗？ 02/02 23:53
91F：推 neo5277 : 这就是我之前说的只要花得起钱的中小企业都可以自己 02/02 23:56
92F：→ neo5277 : 来在多弄一点连小微调都可以 02/02 23:56
93F：→ neo5277 : 顶多就是老黄的刀会比较不利 02/02 23:57
94F：→ neo5277 : 这就等於以前的黑苹果 02/02 23:58
95F：→ redbeanbread: 地动山摇 02/02 23:58
96F：推 junshinw : 魔改没专利吗？量大铁定被告啊！你魔改Iphone量大 02/03 00:03
97F：→ junshinw : 不会被告吗？ 02/03 00:03
98F：→ duriamon : 老黄自己都想卖大陆了告什麽？是皮到被川普拉正，你 02/03 00:07
99F：→ duriamon : 以为老黄讨厌大陆喔？川普登基大典不去跑去大陆唱跳 02/03 00:07
100F：→ duriamon : 过新年的咖耶！笑死！ 02/03 00:07
101F：→ takase : 这种魔改牺牲的是零件的寿命,你旧显卡存货也不可能 02/03 00:09
102F：→ takase : 那麽多 02/03 00:09
103F：推 huabandd : 中国魔改真的是蛮厉害 02/03 00:15
104F：推 RaiGend0519 : 我还没看过有商家做iPhone扩容被告的 02/03 00:19
105F：→ RaiGend0519 : 硬体买下来改装还能被告 太有趣惹 02/03 00:21
106F：→ bndan : 土炮的东西不用多 摆个100组去机房试营运个3个月就 02/03 00:35
107F：→ bndan : 好 能玩的起来的就算你有搞头..连nv制式的都需要透 02/03 00:35
108F：→ bndan : 过大量汰换才能营运 你这种土炮的玩具 放在要营运 02/03 00:35
109F：→ bndan : 的机房内只会是管理灾难而已 想啥呢 == 02/03 00:35
110F：推 Argos : 土炮以前矿潮时早就玩过了 但一改下去没两下就烧坏 02/03 00:48
111F：推 jiansu : 看了amd 一下7900xtx 32b q4km 31tk/s新卡售价3w5 02/03 01:13
112F：→ jiansu : 如果你只要deepseek比你这快 应该不用买洋垃圾 02/03 01:13
113F：→ yunf : 两种作业系统都要用 02/03 01:55
114F：→ yunf : 不试怎麽知道问题在哪？ 02/03 01:55
115F：→ wed1979 : 家庭工作站，布建一台帮小孩做作业，报告写得头头是 02/03 03:59
116F：→ wed1979 : 道 02/03 03:59
117F：嘘 mdkn35 : 洋垃圾真的香 02/03 07:12
118F：→ joeboy : 不要小看左岸魔改能力 02/03 07:15
119F：→ joeboy : 看看张哥，老斯基就知道，业界一堆有能力自己动手 02/03 07:15
120F：→ askaa : 这太烂了拉 我用红白肌膜改就能跑了 你太花钱了 02/03 07:30
121F：推 horcy : vram能跑不代表回应速度够快呀 02/03 07:54
122F：推 Homeparty : vRAM的问题 02/03 08:14
123F：推 Homeparty : Nvidia 的tesla系列也是Vram加大而已 02/03 08:18
124F：嘘 maplefff : 20 token/s 回家睡觉好吗 02/03 08:19
125F：→ maplefff : 有空搞这些, 不如上Azure租一下就好 02/03 08:19
126F：推 ILike58 : 真以为老黄的刀法评价假的…… 02/03 08:20
127F：推 Homeparty : 小企业，6人内20token/s这样是够了 02/03 08:21
128F：推 Homeparty : 你也会发现很多都是2系列去魔改的，因为这些之前是 02/03 08:31
129F：→ Homeparty : 挖矿卡二次利用，如果会玩水冷等，用Nvidia tesla 02/03 08:31
130F：→ Homeparty : 系列也没有比较贵 02/03 08:31
131F：→ ActionII : 2系列去魔改的原因是因为还支援多hours串连吧… 02/03 08:39
132F：→ ActionII : *多gpu 02/03 08:39
133F：→ ActionII : 而且这个魔改本来就有了…华强北只有你想不到的 02/03 08:41
134F：推 Poaceae : 20token/s .. 02/03 08:51
135F：推 shiki1988 : 能跑不代表整体没问题耶 没做过完整测试链没意义 02/03 10:19
136F：推 jboys75 : 好狂… 02/03 11:02
137F：推 ryuhuang : 拿旧显卡改大VRAM来跑AI很划算 02/04 16:30
138F：→ ninggo : Project digit的魔改产品可能才真的威猛 02/05 15:59