作者TameFoxx (foxx)
看板PC_Shopping
标题Re: [请益] 两个改装方案跑本地LLM请赐教
时间Thu Feb 12 15:02:26 2026
如果你今天只打算用ollama跑
那建议你放弃更新硬体了
直接用网路上的API比较划算
以oss-120B为例子
你用现在的硬体跑估计每秒20左右吧?
你换Pro 6000大概也才8~90每秒
比对现在API价格
你的Pro 6000大概要不眠不休输出20年才可以回本
而且这还是不考虑电费的情况
然後就是你买GPU如果只是为了VRAM
那这和你直接插RAM没什麽差别
我不是很确定目前ollama能不能支援张量并行
但就算支援张量并行 你的速度也会受限於比较慢的那张卡
再者就是如果要张量并行
你的GPU数量只能是2的指数个
用3片GPU是毫无意义的
有人可能会好奇那Pro 6000不就是垃圾?
上面之所以会说要不眠不休20年才会回本
是因为原po是打算用ollama跑
他只能单一时间为单一request服务
目前主流都是在Linux环境用vllm跑模型推论服务 同时为多人服务
高并发情境下让他保持最大吞吐量
大概可以不到半年就回本
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 202.39.243.162 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1770879748.A.7EE.html
1F：推 saito2190: 我也是被ollama的低效率坑过，最坑的 1.161.155.235 02/12 19:51
2F：→ saito2190: 是他不能同时发request，只能排队 1.161.155.235 02/12 19:51
3F：→ saito2190: 所以我後来直接投入vllm的怀抱 1.161.155.235 02/12 19:51
4F：→ saito2190: 有时候硬体投资不一定是要回本，说不 1.161.155.235 02/12 19:51
5F：→ saito2190: 定原PO有必须落地使用的场景 1.161.155.235 02/12 19:51
6F：推 YCL13: 我也是弃ollama，觉得最佳化调整不易 1.161.130.221 02/12 21:22
7F：→ YCL13: 不过GPT-oss 120B在使用上只需要用MOE架构 1.161.130.221 02/12 21:22
8F：→ YCL13: 来跑就可以达到很好的效果，并不需用vllm的 1.161.130.221 02/12 21:23
9F：→ YCL13: 张量并行来应用多GPU 1.161.130.221 02/12 21:23
10F：→ YCL13: 我只用5080+64G RAM就可以跑20左右 1.161.130.221 02/12 21:24
11F：推 patvessel: GPTOSS120B能够不用MOE架构来跑吗.. 125.229.28.82 02/13 18:27
12F：推 patvessel: 我在用的环境输入远高於输出 尤其大型 125.229.28.82 02/14 02:05
13F：→ patvessel: 规范档案一放就是五万十万起跳 125.229.28.82 02/14 02:06
14F：推 YCL13: GPT oss是MOE架构，所以跑起来就是MOE，我 1.161.157.30 02/14 07:16
15F：→ YCL13: 的说法很不精确，应该说在单一GPU的VRAM不 1.161.157.30 02/14 07:16
16F：→ YCL13: 足的前题下，可以考虑利用MOE架构特性，将 1.161.157.30 02/14 07:16
17F：→ YCL13: 全部模型都offload到DRAM上，GPU只跑MOE层 1.161.157.30 02/14 07:17
18F：→ YCL13: ，这样是最划算的选择 1.161.157.30 02/14 07:17
19F：推 YCL13: 我的经验是2张5080加部分offload的速度并不 1.161.157.30 02/14 07:20
20F：→ YCL13: 会比较快比单5080来得快，可惜我今年才知道 1.161.157.30 02/14 07:21
21F：→ YCL13: 这个特性，现在的DRAM买不下手了 1.161.157.30 02/14 07:21
22F：→ YCL13: 上二行多字了，应为 "不会比单5080来得快" 1.161.157.30 02/14 07:22
23F：推 YCL13: 想起前阵子研究这模型时，去年有人说花70ti 1.161.157.30 02/14 07:30
24F：→ YCL13: 的钱买256G DRAM比买第二张90划算，难怪RAM 1.161.157.30 02/14 07:30
25F：→ YCL13: 价格要爆涨呀，因为MOE架构让PC玩家可以轻 1.161.157.30 02/14 07:30
26F：→ YCL13: 松跑200B等级的大模型，如果不在乎速度和精 1.161.157.30 02/14 07:30
27F：→ YCL13: 度，甚至1T等级的也可以跑了 1.161.157.30 02/14 07:31
28F：推 YCL13: 不过这是消费等级的事，能买pro 6000的话， 1.161.157.30 02/14 07:35
29F：→ YCL13: 全载到VRAM上用MXFP4跑，大概是200等级，差 1.161.157.30 02/14 07:35
30F：→ YCL13: 距非常大，也才适合跑这篇说的agent服务 1.161.157.30 02/14 07:35
31F：推 patvessel: 因为序列运算会被最慢的环节拖累 125.229.28.82 02/14 08:41
32F：→ patvessel: 所以没有升级到可以全部读到VRAM里面 125.229.28.82 02/14 08:41
33F：→ patvessel: 的话升级的确是会没有什麽感觉 125.229.28.82 02/14 08:42
34F：→ patvessel: 主因是活动参数小所以对於频宽的要求低 125.229.28.82 02/14 08:44
35F：→ patvessel: 也是有些MOE没有切那麽细的 125.229.28.82 02/14 08:45
36F：→ patvessel: 而且这都是进到生成阶段的事情 125.229.28.82 02/14 08:46
37F：→ patvessel: 上下文一长CPU预充填就等死人了 125.229.28.82 02/14 08:46
38F：推 YCL13: 确实是要看最慢环节，我在自己PC玩过5080+ 1.161.157.30 02/14 09:09
39F：→ YCL13: 5060ti16Gx2，总共48G，但速度真被第3张跑 1.161.157.30 02/14 09:10
40F：→ YCL13: pcie4X4的60ti严重拖累 1.161.157.30 02/14 09:10
41F：推 waldo870: 换个软体会发现新世界 101.10.251.165 02/14 20:09
42F：推 newyorker54: 花了两天休假时间，总算在vllm架好 g 42.78.52.93 02/15 14:36
43F：→ newyorker54: pt-oss:120b, 感谢各位高手提点 42.78.52.93 02/15 14:36
44F：→ newyorker54: 接着想挑战step-flash-3.5 42.78.52.93 02/15 14:37
45F：推 newyorker54: 我很恐惧一件事，当人类登陆月球後破 36.237.191.153 02/15 17:08
46F：→ newyorker54: 灭了嫦娥广寒宫的神话及天庭的幻想， 36.237.191.153 02/15 17:08
47F：→ newyorker54: 如果AI 证明了人脑神经运作和晶元半 36.237.191.153 02/15 17:08
48F：→ newyorker54: 导体运作相似，破灭了灵魂和性格的神 36.237.191.153 02/15 17:08
49F：→ newyorker54: 话，人的价值和存在是什麽？ 36.237.191.153 02/15 17:09
50F：→ newyorker54: 这两天一直用 chatgpt 5.2 pro帮忙， 36.237.191.153 02/15 17:14
51F：→ newyorker54: 经过大量执行报错和修正，安装好vllm 36.237.191.153 02/15 17:14
52F：→ newyorker54: ，wsl指令还挂掉，cuda toolkit新版 36.237.191.153 02/15 17:14
53F：→ newyorker54: 不能用，下载被拦截，其他AI模型不断 36.237.191.153 02/15 17:14
54F：→ newyorker54: 引导错误甚至鬼打墙，总算装好了 36.237.191.153 02/15 17:14
55F：推 patvessel: 问题应该不是被第三张60TI拖累 125.229.28.82 02/16 00:54
56F：→ patvessel: 而是因为48G还是放不下所有权重 125.229.28.82 02/16 00:55
57F：→ patvessel: 还是会有部分被offload到系统RAM里面 125.229.28.82 02/16 00:55
58F：→ patvessel: 所以最慢的是系统ram那块 125.229.28.82 02/16 00:55
59F：→ patvessel: 只要没办法全部塞进VRAM 有一部分必须 125.229.28.82 02/16 00:56
60F：→ patvessel: 放在系统RAM的话 那不管几张卡 瓶颈 125.229.28.82 02/16 00:56
61F：→ patvessel: 都还是那个最慢的DDR4/5 而不是显示卡 125.229.28.82 02/16 00:56
62F：→ patvessel: 因为分层 传输的中间值是塞不满PCIE的 125.229.28.82 02/16 00:57
63F：→ patvessel: 至於人的价值...为什麽你会希望人类有 125.229.28.82 02/16 00:58
64F：→ patvessel: 什麽天命还是价值是其他东西没有的? 125.229.28.82 02/16 00:58
65F：→ patvessel: 如果真的有价值的东西 那不管背後是 125.229.28.82 02/16 00:59
66F：→ patvessel: 神经元还是矽晶片 那就是会有价值 125.229.28.82 02/16 00:59
67F：→ patvessel: 价值不由载体决定 125.229.28.82 02/16 00:59
68F：推 newyorker54: 经过两天总时睡不到十小时，确定vllm 36.237.191.153 02/16 02:38
69F：→ newyorker54: 在wsl中不支援NCCL所以不能用张量并 36.237.191.153 02/16 02:38
70F：→ newyorker54: 行，只能用Linux系统所以我放弃张量 36.237.191.153 02/16 02:38
71F：→ newyorker54: 并行，网路也有人证实这点，想用的人 36.237.191.153 02/16 02:38
72F：→ newyorker54: 可以放弃了。至於llama.cpp应该可以s 36.237.191.153 02/16 02:38
73F：→ newyorker54: pilit目前还在下载gguf过两天再试 36.237.191.153 02/16 02:38
74F：→ newyorker54: 楼上有人说因为MOE架构offload影响速 36.237.191.153 02/16 02:41
75F：→ newyorker54: 度较少，有看到网路有人讲，实际如何 36.237.191.153 02/16 02:41
76F：→ newyorker54: 我再实操看结果 36.237.191.153 02/16 02:41
77F：推 YCL13: 喔，那个3张GPU共48G VRAM用来测过很多模型 1.161.172.250 02/16 07:50
78F：→ YCL13: ，最关键的一个是Qwen3 Next 80B，虽然可以 1.161.172.250 02/16 07:51
79F：→ YCL13: 全挂载进VRAM里，但速度反而没有变快，就算 1.161.172.250 02/16 07:51
80F：→ YCL13: 是用5080+5060ti共32G VRAM来部分offload也 1.161.172.250 02/16 07:51
81F：→ YCL13: 比较快，当然最快的还是我一直说的MOE架构 1.161.172.250 02/16 07:51
82F：→ YCL13: 的专用跑法，单一5080是最快的 1.161.172.250 02/16 07:51
83F：推 YCL13: 关於vllm，我是觉得确定要张量并行+批次再 1.161.172.250 02/16 07:59
84F：→ YCL13: 使用，不然用llama.cpp没什麽差，而且满多 1.161.172.250 02/16 08:00
85F：→ YCL13: 模型的操作文件都会用llama.cpp当范例，用 1.161.172.250 02/16 08:00
86F：→ YCL13: 起来也会方便一些 1.161.172.250 02/16 08:00
87F：推 newyorker54: 早上把step-3.5-flash放在llama.cpp 42.78.222.167 02/16 13:00
88F：→ newyorker54: 全塞进VRAM因为chatgpt5.2建议这样做 42.78.222.167 02/16 13:00
89F：→ newyorker54: ，还没测试 42.78.222.167 02/16 13:00
90F：推 YCL13: 把step 3.5全载进VRAM，所以您升级GPU了？ 1.161.172.250 02/17 09:24
91F：推 newyorker54: 是的，经过反覆思考，现在不买以後更 36.233.155.76 02/17 10:06
92F：→ newyorker54: 贵，说不定用了一年还可以加价卖，与 36.233.155.76 02/17 10:06
93F：→ newyorker54: 其钱拿去换车，不如买卡每天玩本地AI 36.233.155.76 02/17 10:06
94F：推 mOuOm: 是不是你要开发的东西有机密性质， 49.215.97.32 02/17 22:23
95F：→ mOuOm: 不然看起来本地端投资不如买Gemini 49.215.97.32 02/17 22:23
96F：→ mOuOm: ultra或其他模型 49.215.97.32 02/17 22:23