作者overdoingism (做过头主义)
看板PC_Shopping
标题[心得] R9700 + Qwen 3.8 27B 专用 llama 更新
时间Wed Oct 14 01:43:32 2026
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再变快
是说，花了好大几万买的显卡 AMD R9700，我仍然不能满足於那样的性能。
但...所有人都跑去搞 Qwen4Exp 的 MoE 架构了，
没人继续最佳化 Qwen3 Dense，太苦了。
我只能天天对着克劳德软磨硬泡，再加上 rdna-boosts 的专案加持，
诞生了：
https://github.com/overdoingism/llama-cpp-overdoing
我们终於成功在卡上让 Qwen 3.8 27b 在 32K prompt 跑出：
prefill 2397 token/s
deocde 66.2 token/s
... 当然，我坦承这是 MXFP4 ，而且还是远比不上
那些鬼神 vllm 爆改方案，但看官先别急着走，Q5 也有加速到：
prefill 1959 token/s
decode 50.6 token/s
虽然有开 Dflash2，但测试文件不是他最擅长的写程式，这速度还算公允吧，
这大概是网路上目前 R9700 + Qwen 3 27B Q5数一数二快的纪录了？
而且 Q5之类的量化可是 vllm 方案没有得选的，
你还可以自由的使用 gguf 的各种量化格式。
当然，这是靠运算过程中精度微损换来的加速，
不过总体而言，损失还是比 Q5 → MXFP4 低太多了。
那麽，要怎麽使用呢？
这个方案是基於官方 llama.cpp + rdna-boost + 自订 patch 这样的架构，
所以你要....要直接请 Qwen 3.8 去看这里：
https://github.com/overdoingism/llama-cpp-overdoing#build
这里有分别对应 Windows 与 Linux 下编译的教程。
Qwen 3.8 27B 应该足以看懂并且自主完成布署。
（请记得要他开启对应环境变数）
在此，特别感谢 rdna-boosts 专案
https://github.com/stew675/llama-cpp-rdna-boosts
最後说明，目前的加速都是针对稠密模型、并以 Qwen 3 为主，
其他稠密模型也能部份加速，但没有最佳化；
如果是想走 MoE 模型，那效果就不太明显。（这是rdna-boosts目前主推的）
祝各位的 R9700 都越来越值钱。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 193.148.18.52 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1791913415.A.D02.html
※ 编辑: overdoingism (193.148.18.52 美国), 10/14/2026 01:45:39
※ overdoingism:转录至看板 AI_Art 10/14 01:47
※ overdoingism:转录至看板 AI 10/14 01:48
1F：推 wudishidove: 蛮猛的了，我5090跑 qwen3.8 nvfp4， 111.82.88.43 10/14 07:38
2F：→ wudishidove: 不开 mtp也才60多token/秒 111.82.88.43 10/14 07:38
官方llama.cpp一定是最慢的，因为他们所有精神都花在了新特性的支援，
以及修复bug，没有精神时间来搞性能最佳化（尤其是针对性的）。
建议你去搜寻看看有没有适合的fork。
3F：推 Lucya: 想问论写程式来说 27b Q5会比flash nextQ4 118.231.212.4 10/14 08:42
4F：→ Lucya: 聪明吗？ moe 模型好像每次启用的专家小於 118.231.212.4 10/14 08:42
5F：→ Lucya: 稠密模型，很犹豫在显存够的情况下选哪个 118.231.212.4 10/14 08:42
6F：→ Lucya: 比较好 118.231.212.4 10/14 08:42
自己个人经验是，27B写程式、指令遵守这件事比Flash next稳定点，
但Flash next更广泛博学点。当然，这只是个人经验。
7F：推 ja881213: 推个 39.1.7.6 10/14 09:28
8F：推 cercloud: 现在想买r9700还不一定买得到 101.10.159.157 10/14 09:33
9F：推 Value1024: 原价屋还有，现在我看大陆那边已经要一 27.52.38.145 10/14 10:26
10F：→ Value1024: 万六人民币了好扯 27.52.38.145 10/14 10:26
11F：推 touyaman: 对面的12G以上卡比台湾贵很多从3060开始 61.220.26.184 10/14 10:29
※ 编辑: overdoingism (193.148.18.52 美国), 10/14/2026 12:39:00
12F：推 wudishidove: 这我知道，我自己实际跑 sglang+mtp 111.82.88.43 10/14 13:55
13F：→ wudishidove: 可以100 token/秒，已经满足了 111.82.88.43 10/14 13:55
14F：→ wudishidove: 唯一缺点只有若并发2，上下文只能100 111.82.88.43 10/14 14:04
15F：→ wudishidove: k，随便叫他上网查个资料就炸了 111.82.88.43 10/14 14:04
16F：推 GenShoku: 小参数dense模型适合遵循指令，不用许愿 114.137.72.152 10/14 14:32
17F：→ GenShoku: 的方式去说需求的话，会比大参数MoE模型 114.137.72.152 10/14 14:32
18F：→ GenShoku: coding表现还好 114.137.72.152 10/14 14:32
19F：推 Value1024: 原价屋那张 R9700不见了 昨天还有看到 36.234.230.57 10/14 16:53
20F：→ Value1024: 现在看来全台没有稳定出货的地方了 36.234.230.57 10/14 16:53
21F：推 x90050: R9700最近一个月电商只要上架都是半天完售 220.134.92.156 10/14 20:37
22F：→ ketrobo: 现在连B70都没看到 1.162.27.87 10/14 22:38
23F：推 YCL13: B70可以考虑启动，价差算不小了 59.115.135.137 10/14 23:29
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再变快
※ 编辑: overdoingism (193.148.18.52 美国), 10/15/2026 02:34:57
24F：→ Aquarius126: 某纺虾皮商城有B70+SSD2T组合包 虽然 218.173.15.232 10/15 09:22
25F：→ Aquarius126: 是搭美光的 218.173.15.232 10/15 09:22
26F：推 koji328: 9/22在原价屋买技嘉的R9700买下後就没了 114.35.12.224 10/15 23:04
27F：→ koji328: 再早两周pchome买5万2的撼讯退货了 114.35.12.224 10/15 23:05
28F：→ koji328: 退货後它就涨成5万9 114.35.12.224 10/15 23:06
29F：→ tuwile: 现在R9700不好买 36.233.96.206 10/16 03:55