作者overdoingism (做过头主义)
看板AI
标题Fw: [心得] R9700 + Qwen 3.8 27B 专用加速 llama 更新
时间Wed Oct 14 01:48:30 2026
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再变快
是说，花了好大几万买的显卡 AMD R9700，我仍然不能满足於那样的性能。
但...所有人都跑去搞 Qwen4Exp 的 MoE 架构了，
没人继续最佳化 Qwen3 Dense，太苦了。
我只能天天对着克劳德软磨硬泡，再加上 rdna-boosts 的专案加持，
诞生了：
https://github.com/overdoingism/llama-cpp-overdoing
我们终於成功在卡上让 Qwen 3.8 27b 在 32K prompt 跑出：
prefill 2397 token/s
deocde 66.2 token/s
... 当然，我坦承这是 MXFP4 ，而且还是远比不上
那些鬼神 vllm 爆改方案，但看官先别急着走，Q5 也有加速到：
prefill 1959 token/s
decode 50.6 token/s
虽然有开 Dflash2，但测试文件不是他最擅长的写程式，这速度还算公允吧，
这大概是网路上目前 R9700 + Qwen 3 27B Q5数一数二快的纪录了？
而且 Q5之类的量化可是 vllm 方案没有得选的，
你还可以自由的使用 gguf 的各种量化格式。
当然，这是靠运算过程中精度微损换来的加速，
不过总体而言，损失还是比 Q5 → MXFP4 低太多了。
那麽，要怎麽使用呢？
这个方案是基於官方 llama.cpp + rdna-boost + 自订 patch 这样的架构，
所以你要....要直接请 Qwen 3.8 去看这里：
https://github.com/overdoingism/llama-cpp-overdoing#build
这里有分别对应 Windows 与 Linux 下编译的教程。
Qwen 3.8 27B 应该足以看懂并且自主完成布署。
（请记得要他开启对应环境变数）
在此，特别感谢 rdna-boosts 专案
https://github.com/stew675/llama-cpp-rdna-boosts
最後说明，目前的加速都是针对稠密模型、并以 Qwen 3 为主，
其他稠密模型也能部份加速，但没有最佳化；
如果是想走 MoE 模型，那效果就不太明显。（这是rdna-boosts目前主推的）
祝各位的 R9700 都越来越值钱。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 193.148.18.52 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1791913415.A.D02.html
※ 编辑: overdoingism (193.148.18.52 美国), 10/14/2026 01:45:39
※ overdoingism:转录至看板 AI_Art 10/14 01:47
※ 发信站: 批踢踢实业坊(ptt.cc)
※ 转录者: overdoingism (193.148.18.52 美国), 10/14/2026 01:48:30
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再变快
※ 编辑: overdoingism (193.148.18.52 美国), 10/15/2026 02:37:27