作者overdoingism (做過頭主義)
看板AI
標題Fw: [心得] R9700 + Qwen 3.8 27B 專用加速 llama 更新
時間Wed Oct 14 01:48:30 2026
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再變快
是說，花了好大幾萬買的顯卡 AMD R9700，我仍然不能滿足於那樣的性能。
但...所有人都跑去搞 Qwen4Exp 的 MoE 架構了，
沒人繼續最佳化 Qwen3 Dense，太苦了。
我只能天天對著克勞德軟磨硬泡，再加上 rdna-boosts 的專案加持，
誕生了：
https://github.com/overdoingism/llama-cpp-overdoing
我們終於成功在卡上讓 Qwen 3.8 27b 在 32K prompt 跑出：
prefill 2397 token/s
deocde 66.2 token/s
... 當然，我坦承這是 MXFP4 ，而且還是遠比不上
那些鬼神 vllm 爆改方案，但看官先別急著走，Q5 也有加速到：
prefill 1959 token/s
decode 50.6 token/s
雖然有開 Dflash2，但測試文件不是他最擅長的寫程式，這速度還算公允吧，
這大概是網路上目前 R9700 + Qwen 3 27B Q5數一數二快的紀錄了？
而且 Q5之類的量化可是 vllm 方案沒有得選的，
你還可以自由的使用 gguf 的各種量化格式。
當然，這是靠運算過程中精度微損換來的加速，
不過總體而言，損失還是比 Q5 → MXFP4 低太多了。
那麼，要怎麼使用呢？
這個方案是基於官方 llama.cpp + rdna-boost + 自訂 patch 這樣的架構，
所以你要....要直接請 Qwen 3.8 去看這裡：
https://github.com/overdoingism/llama-cpp-overdoing#build
這裡有分別對應 Windows 與 Linux 下編譯的教程。
Qwen 3.8 27B 應該足以看懂並且自主完成布署。
（請記得要他開啟對應環境變數）
在此，特別感謝 rdna-boosts 專案
https://github.com/stew675/llama-cpp-rdna-boosts
最後說明，目前的加速都是針對稠密模型、並以 Qwen 3 為主，
其他稠密模型也能部份加速，但沒有最佳化；
如果是想走 MoE 模型，那效果就不太明顯。（這是rdna-boosts目前主推的）
祝各位的 R9700 都越來越值錢。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 193.148.18.52 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1791913415.A.D02.html
※ 編輯: overdoingism (193.148.18.52 美國), 10/14/2026 01:45:39
※ overdoingism:轉錄至看板 AI_Art 10/14 01:47
※ 發信站: 批踢踢實業坊(ptt.cc)
※ 轉錄者: overdoingism (193.148.18.52 美國), 10/14/2026 01:48:30
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再變快
※ 編輯: overdoingism (193.148.18.52 美國), 10/15/2026 02:37:27