作者overdoingism (做過頭主義)
看板PC_Shopping
標題[心得] R9700 + Qwen 3.8 27B 專用 llama 更新
時間Wed Oct 14 01:43:32 2026
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再變快
是說，花了好大幾萬買的顯卡 AMD R9700，我仍然不能滿足於那樣的性能。
但...所有人都跑去搞 Qwen4Exp 的 MoE 架構了，
沒人繼續最佳化 Qwen3 Dense，太苦了。
我只能天天對著克勞德軟磨硬泡，再加上 rdna-boosts 的專案加持，
誕生了：
https://github.com/overdoingism/llama-cpp-overdoing
我們終於成功在卡上讓 Qwen 3.8 27b 在 32K prompt 跑出：
prefill 2397 token/s
deocde 66.2 token/s
... 當然，我坦承這是 MXFP4 ，而且還是遠比不上
那些鬼神 vllm 爆改方案，但看官先別急著走，Q5 也有加速到：
prefill 1959 token/s
decode 50.6 token/s
雖然有開 Dflash2，但測試文件不是他最擅長的寫程式，這速度還算公允吧，
這大概是網路上目前 R9700 + Qwen 3 27B Q5數一數二快的紀錄了？
而且 Q5之類的量化可是 vllm 方案沒有得選的，
你還可以自由的使用 gguf 的各種量化格式。
當然，這是靠運算過程中精度微損換來的加速，
不過總體而言，損失還是比 Q5 → MXFP4 低太多了。
那麼，要怎麼使用呢？
這個方案是基於官方 llama.cpp + rdna-boost + 自訂 patch 這樣的架構，
所以你要....要直接請 Qwen 3.8 去看這裡：
https://github.com/overdoingism/llama-cpp-overdoing#build
這裡有分別對應 Windows 與 Linux 下編譯的教程。
Qwen 3.8 27B 應該足以看懂並且自主完成布署。
（請記得要他開啟對應環境變數）
在此，特別感謝 rdna-boosts 專案
https://github.com/stew675/llama-cpp-rdna-boosts
最後說明，目前的加速都是針對稠密模型、並以 Qwen 3 為主，
其他稠密模型也能部份加速，但沒有最佳化；
如果是想走 MoE 模型，那效果就不太明顯。（這是rdna-boosts目前主推的）
祝各位的 R9700 都越來越值錢。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 193.148.18.52 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1791913415.A.D02.html
※ 編輯: overdoingism (193.148.18.52 美國), 10/14/2026 01:45:39
※ overdoingism:轉錄至看板 AI_Art 10/14 01:47
※ overdoingism:轉錄至看板 AI 10/14 01:48
1F：推 wudishidove: 蠻猛的了，我5090跑 qwen3.8 nvfp4， 111.82.88.43 10/14 07:38
2F：→ wudishidove: 不開 mtp也才60多token/秒 111.82.88.43 10/14 07:38
官方llama.cpp一定是最慢的，因為他們所有精神都花在了新特性的支援，
以及修復bug，沒有精神時間來搞性能最佳化（尤其是針對性的）。
建議你去搜尋看看有沒有適合的fork。
3F：推 Lucya: 想問論寫程式來說 27b Q5會比flash nextQ4 118.231.212.4 10/14 08:42
4F：→ Lucya: 聰明嗎？ moe 模型好像每次啟用的專家小於 118.231.212.4 10/14 08:42
5F：→ Lucya: 稠密模型，很猶豫在顯存夠的情況下選哪個 118.231.212.4 10/14 08:42
6F：→ Lucya: 比較好 118.231.212.4 10/14 08:42
自己個人經驗是，27B寫程式、指令遵守這件事比Flash next穩定點，
但Flash next更廣泛博學點。當然，這只是個人經驗。
7F：推 ja881213: 推個 39.1.7.6 10/14 09:28
8F：推 cercloud: 現在想買r9700還不一定買得到 101.10.159.157 10/14 09:33
9F：推 Value1024: 原價屋還有，現在我看大陸那邊已經要一 27.52.38.145 10/14 10:26
10F：→ Value1024: 萬六人民幣了好扯 27.52.38.145 10/14 10:26
11F：推 touyaman: 對面的12G以上卡比台灣貴很多從3060開始 61.220.26.184 10/14 10:29
※ 編輯: overdoingism (193.148.18.52 美國), 10/14/2026 12:39:00
12F：推 wudishidove: 這我知道，我自己實際跑 sglang+mtp 111.82.88.43 10/14 13:55
13F：→ wudishidove: 可以100 token/秒，已經滿足了 111.82.88.43 10/14 13:55
14F：→ wudishidove: 唯一缺點只有若併發2，上下文只能100 111.82.88.43 10/14 14:04
15F：→ wudishidove: k，隨便叫他上網查個資料就炸了 111.82.88.43 10/14 14:04
16F：推 GenShoku: 小參數dense模型適合遵循指令，不用許願 114.137.72.152 10/14 14:32
17F：→ GenShoku: 的方式去說需求的話，會比大參數MoE模型 114.137.72.152 10/14 14:32
18F：→ GenShoku: coding表現還好 114.137.72.152 10/14 14:32
19F：推 Value1024: 原價屋那張 R9700不見了 昨天還有看到 36.234.230.57 10/14 16:53
20F：→ Value1024: 現在看來全台沒有穩定出貨的地方了 36.234.230.57 10/14 16:53
21F：推 x90050: R9700最近一個月電商只要上架都是半天完售 220.134.92.156 10/14 20:37
22F：→ ketrobo: 現在連B70都沒看到 1.162.27.87 10/14 22:38
23F：推 YCL13: B70可以考慮啟動，價差算不小了 59.115.135.137 10/14 23:29
最新更新：rebase 到 rdna-boosts R59 且 Q5 prefill 有再變快
※ 編輯: overdoingism (193.148.18.52 美國), 10/15/2026 02:34:57
24F：→ Aquarius126: 某紡蝦皮商城有B70+SSD2T組合包 雖然 218.173.15.232 10/15 09:22
25F：→ Aquarius126: 是搭美光的 218.173.15.232 10/15 09:22
26F：推 koji328: 9/22在原價屋買技嘉的R9700買下後就沒了 114.35.12.224 10/15 23:04
27F：→ koji328: 再早兩週pchome買5萬2的撼訊退貨了 114.35.12.224 10/15 23:05
28F：→ koji328: 退貨後它就漲成5萬9 114.35.12.224 10/15 23:06
29F：→ tuwile: 現在R9700不好買 36.233.96.206 10/16 03:55