作者james58899 (james58899)
看板PC_Shopping
標題[心得] 顯卡真實 AI 算力整理 GPU AI TOPs
時間Sat Feb 21 17:51:33 2026
之前在巴哈和板上看到用9070XT跑圖片生成的文章，突然對跑AI有了興趣
然後就拉著小伙伴們一起來跑AI，所以肯定要比一下誰顯卡跑比較快
結果發現網路上到處都是又稀疏又低精度的膨脹算力，實際幾乎用不到
只好從各種官方文件中整理不同精度的實際算力
一查才知道原來我拿9070XT打了半年的遊戲結果跑AI也很強
總之先上圖
https://i.urusai.cc/8FRjv.png
原始表格：
https://reurl.cc/KOZj1M
https://docs.google.com/spreadsheets/d/1V0LZwM7pADpgszZdZuzNZyXD8Uwvg2b-XavzM14Bz1U
網頁匯出版：
https://reurl.cc/MMrdm4
主要看FP16/BF16和INT8/FP8這幾行
一般圖片生成都是用FP16/BF16少數使用FP8量化，而語言模型大多用FP8/INT8或更低的量化
語言模型更吃記憶體頻寬，圖片生成更注重算力但也還是吃記憶體頻寬
當然這些都是建立在VRAM夠用的前提下
如果VRAM不夠用就需要頻繁將模型的權重在RAM和VRAM之間搬來搬去
由於NVIDIA卡的變種實在太多了，所以僅整理有官方規格或比較有可能拿來跑AI的卡
如果有其他感興趣的卡，可以先找接近的型號根據Tensor核心數估算一下
或者也可以推文留言，等我哪天有空可能會補充進表格
原本以為想跑AI只能買NVIDIA，結果發現其實Intel和AMD支援性都已經不錯了
最新的AMD Windows驅動甚至直接把AI大禮包整進安裝工具，直接開箱即用都不用搞半天環境
Intel A770原本以為是遊戲卡，結果其實是AI卡，跑AI比跑遊戲強多了...
傳說中的AI金磚DGX Spark實際上就只有128G很大，實際算力和頻寬都還好而已
我覺得如果只是想試試AI的人買個9070XT是個不錯的選擇
說AMD驅動不行的反正我是半點問題沒遇到，真要說也只有爆VRAM的時候有機會崩驅動
但這任何顯卡都一樣，你VRAM用滿了東西就得炸
沒炸也只是驅動或系統在盡力把東西搬到RAM而已，搬不了或者來不及搬的時候還是要死
如果主要就是跑AI的話，AMD全家桶用起來也沒問題可以考慮AMD R9700
基本上就是有32G VRAM的9070XT，但價格也翻了一倍，不過還是比NV便宜
不然就直上RTX 5090，或者直接攻頂滿血的RTX PRO 6000，信老黃肯定沒錯對吧
在人類突破物理極限或者找到新的AI計算方式之前，多少算力就要多少功耗，沒有任何魔法
如果有個東西算力很高那只有兩個可能，一個是功耗也很高，另一個就是算力灌水
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.213.184.242 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1771667496.A.A72.html
1F：推 ltytw: 現在硬體貴其實是天網想搞死玩家吧 211.23.223.225 02/21 17:53
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 17:54:44
2F：→ commandoEX: 比非稀疏性能沒那麼真，NV有針對稀疏 1.161.86.46 02/21 17:56
3F：→ commandoEX: 運算加速，大語言模型也是稀疏矩陣 1.161.86.46 02/21 17:56
稀疏加速的要求其實很高，矩陣要有一半都是0才能觸發
而且還要特定格式的0，不是隨便有一半就行
我偏向認為宣傳大於實際意義，而且要看稀疏算力直接x2就是了
另外AMD RDNA4其實也支援稀疏加速
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:06:47
4F：→ a85139138: A卡跑AI最大的問題是生態不是算力吧 39.9.32.248 02/21 18:03
5F：→ a85139138: 一堆套件都是針對CUDA開發的 39.9.32.248 02/21 18:04
6F：→ a85139138: 要用A卡跑還得先各種debug和配置好環 39.9.32.248 02/21 18:04
7F：→ a85139138: 境 39.9.32.248 02/21 18:05
現在AMD配置難度已經幾乎沒有了，需要的操作就只有把cuda版pytorch換成rocm版而已
蓋在pytorch上的東西都能無縫直接能用，基本上就只有NV那幾個黑魔法加速不能用
但最近我看社群也都有搞出替代方案了，實際差距沒有想像中那麼大
8F：推 cylinptt: 不知道4090魔改的數據怎麼樣 1.169.96.32 02/21 18:05
魔改只有加大VRAM吧，頻寬和算力應該是不會變的
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:14:17
9F：→ jkiu: spark定位是開發用機，另外它的一個相對amd 49.216.162.107 02/21 18:10
10F：→ jkiu: 的強項是pp，長context的處理速度 49.216.162.107 02/21 18:10
11F：噓 kf0916: 跑ai買amd真的自找麻煩 111.71.213.117 02/21 18:12
12F：推 lordmi: 只比TOPs意義不大。在模型比較大的時候， 114.136.162.73 02/21 18:13
13F：→ lordmi: 瓶頸往往不在計算而在存儲相關操作。同樣 114.136.162.73 02/21 18:13
14F：→ lordmi: 的顯卡核心計算單元，使用不同的存儲架構 114.136.162.73 02/21 18:13
15F：→ lordmi: （例如hbmvslpddr）或者不同的存儲布線， 114.136.162.73 02/21 18:13
16F：→ lordmi: 跑模型的速度都會有顯著不同。要不為啥高 114.136.162.73 02/21 18:13
17F：→ lordmi: 階存儲漲價漲那麽高？ 114.136.162.73 02/21 18:13
表格也有列記憶體頻寬，如果知道自己用途就特別吃頻寬的話當然挑大的買
其實AMD的Infinity Cache對AI也有奇效，不過這就要軟體去相容才能吃到
18F：推 meteor724: 打臉板上推n卡跑ai 42.76.9.186 02/21 18:15
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:19:57
19F：推 sorrojvr: 8g vram、12gvram應該不會跑fp32 、16 223.138.33.196 02/21 18:23
20F：→ sorrojvr: 光模型就大的嚇人 vram根本不夠 223.138.33.196 02/21 18:23
21F：→ sorrojvr: 我覺得跑fp8,Q4k的gguf反而很多人 223.138.33.196 02/21 18:23
22F：→ sorrojvr: 因為很多人顯卡只有8g-12gvram 223.138.33.196 02/21 18:23
23F：→ sorrojvr: 需求vram低 跑出來效果也還可以 223.138.33.196 02/21 18:23
24F：推 guanting886: 推原PO認真分享 42.78.136.145 02/21 18:25
25F：推 mizumutsuki: 2060S 8G都能列入表格了，請問9060XT 1.169.205.247 02/21 18:46
26F：→ mizumutsuki: 8G能跑嗎 1.169.205.247 02/21 18:46
這是因為我的小伙伴就用那張所以才在表格裡
8G對於AI來說真的是很不夠用，你需要找低精度量化的模型來跑
27F：→ takanasiyaya: 這看起來就很雲，容量才是重點，不 49.216.185.52 02/21 18:47
28F：→ takanasiyaya: 夠你根本不能用大模型 49.216.185.52 02/21 18:47
29F：推 s78513221: 簡單部署嗎...？ollma直接表示不支援 111.71.35.95 02/21 18:49
笑死，我覺得這是ollama本身就特別雷llama.cpp本身用vulkan明明就能跑得很好
AMD AI大禮包裡面另一個LM Studio就跑得很開心
30F：推 YCL13: 在跑圖這塊，A家GPU已經有不錯的支援了，但 1.161.178.136 02/21 18:51
31F：→ YCL13: 在跑LLM部分，覺得連CPU的支援都還比不上 1.161.178.136 02/21 18:51
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:56:52
32F：推 guogu: 沒有6600xt 太苦惹 49.214.10.111 02/21 18:56
6600XT又8G又RDNA2，你還是放過它乖乖打遊戲吧
RDNA3才有矩陣加速，然後RDNA4的矩陣加速才是滿血的
這也能解釋為什麼AMD限制基於AI的FSR4在RDNA4卡才能用
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 19:02:30
33F：推 ttping: 為什麼跳過3080 QAQ 115.43.71.11 02/21 19:10
3080那可憐的VRAM大小，空有算力沒用阿，讚嘆老黃刀法吧
34F：推 davidex: 借問一下9060XT 16GB能跑AI嗎? 36.230.12.222 02/21 19:10
16G肯定是能跑，但算力和頻寬都只有9070XT的一半，速度大概也只有一半
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 19:22:10
35F：推 sugoichai: 9060xt不就寫在表上嗎？ 49.216.225.159 02/21 19:23
36F：推 tshu: A770頻寬給的夠，其實很有誠意 49.215.226.108 02/21 19:25
37F：→ tshu: 一般使用者跑跑fp8過個癮就行了 49.215.226.108 02/21 19:26
38F：推 YCL13: 不會那麼慘啦，如5060ti能力不到5080的一半 1.161.178.136 02/21 19:27
39F：→ YCL13: ，我實際用起來表現約60%左右，因為PC端也 1.161.178.136 02/21 19:27
40F：→ YCL13: 會有響影，真不要因為覺得自己硬體差就不試 1.161.178.136 02/21 19:27
41F：→ YCL13: ，嚐試後你可能會發現其實沒那麼不堪，像我 1.161.178.136 02/21 19:28
42F：→ YCL13: 之前爬國外討論區時，一堆人只用3060也玩得 1.161.178.136 02/21 19:28
43F：→ YCL13: 很開心 1.161.178.136 02/21 19:28
44F：推 davidex: 喔喔 看到了 居然還優於5060ti呀 36.230.12.222 02/21 19:29
45F：→ commandoEX: 一般定義稀疏矩陣是非零元素<5%的矩陣 1.161.86.46 02/21 19:29
46F：→ commandoEX: 50%非零元素你的矩陣不用做1B，做1M 1.161.86.46 02/21 19:31
47F：→ commandoEX: 的FP8就要3000G記憶體儲存 1.161.86.46 02/21 19:31
48F：→ commandoEX: Transformer 的注意力矩陣大概只有 1.161.86.46 02/21 19:32
49F：→ commandoEX: 幾億分之一的非零元素吧 1.161.86.46 02/21 19:33
50F：推 jake255121: 很有價值的整理 39.14.56.185 02/21 19:33
51F：→ commandoEX: 所以稀疏矩陣運算本來就要壓縮 1.161.86.46 02/21 19:33
52F：→ commandoEX: 原始矩陣才能做 1.161.86.46 02/21 19:34
53F：→ vsbrm: 主要是軟體支援程度 42.77.28.39 02/21 19:35
54F：推 royalblue213: 感謝整理分享 49.216.46.253 02/21 19:37
55F：推 avans: 對窮人來說算力根本無所謂vram大小才是重點 111.241.113.55 02/21 19:38
56F：→ avans: 仍在使用3060 12Gw 111.241.113.55 02/21 19:38
57F：推 a22663564: 很多人就是喜歡品牌迷思，先噓在說， 180.214.182.79 02/21 19:41
58F：→ a22663564: 雖然我沒跑AI，但看原Po的解釋覺得沒 180.214.182.79 02/21 19:41
59F：→ a22663564: 必要帶偏見，畢竟他有實際執行，自己 180.214.182.79 02/21 19:41
60F：→ a22663564: 有用過覺得ok就ok，幫補推 180.214.182.79 02/21 19:41
61F：推 fu1vu03: DGX spark的fp16比5080還強喔？223.137.134.255 02/21 19:54
DGX Spark似乎是滿血的FP16，但聽說那東西還會過熱降頻，實際可能更低
沒有任何官方資料有給除了FP4以外的算力，而且那價格比5080強應該的吧
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 20:07:08
62F：推 glenmarlboro: 看來19112台幣入手的xfx 7900xt真的 114.137.2.210 02/21 20:05
63F：→ glenmarlboro: 不虧 114.137.2.210 02/21 20:05
64F：推 Supasizeit: 覺得AI看跑分的無腦買A卡就好203.204.195.174 02/21 20:10
65F：推 zseineo: 推 1.160.24.86 02/21 20:11
66F：推 ganei: 能跟R9700打對台的就淘寶/鹹魚的4080S改32G118.165.132.219 02/21 20:11
67F：→ ganei: ，原本雙12前價錢差不多但漲一波後現在貴一118.165.132.219 02/21 20:11
68F：→ ganei: 截了，改卡保固就看店家佛心跟個人本事118.165.132.219 02/21 20:11
69F：推 ctes940008: 工作用途建議從Pro 6000開始買。 36.237.104.147 02/21 20:40
70F：→ ctes940008: 其他32GB以下都算是遊戲用途 36.237.104.147 02/21 20:40
71F：推 saito2190: 從老黃的記憶體頻寬就能看出刀法精湛 59.115.159.201 02/21 21:16
72F：推 schula: 4090這樣算超值了吧 223.139.5.187 02/21 21:21
73F：推 dos01: 還是那句話210.209.164.247 02/21 22:20
74F：→ dos01: 可以跑 跟買來就能解決問題是兩回事210.209.164.247 02/21 22:21
75F：→ dos01: 當可以跑的前提是需要轉特定的東西 或者是210.209.164.247 02/21 22:22
76F：→ dos01: 找特定的解決方案 對大多數人只想一鍵處理210.209.164.247 02/21 22:22
77F：→ dos01: 的人來說基本上就等同於不能跑210.209.164.247 02/21 22:22
78F：推 ireina723: 那就只有gemini gpt能跑了 對阿 36.231.223.203 02/21 22:57
79F：推 htps0763: A卡看跑分就沒用 36.239.245.101 02/21 23:14
80F：→ htps0763: 那個ROCm主要用linux開發，win上缺一堆 36.239.245.101 02/21 23:14
81F：→ htps0763: 組件 36.239.245.101 02/21 23:14
82F：→ htps0763: 在等個半年一年，看看ROCm什麼時候實現 36.239.245.101 02/21 23:15
83F：→ htps0763: 它ppt上吹的東西 36.239.245.101 02/21 23:15
我覺得沒有到缺一堆東西，而且有缺也能在WSL裡面跑起來
人家都敢直接在驅動裡面給你AI大禮包了，跑個主流應用不太會有問題
84F：→ Wilson310: A卡主要問題是新應用出來第一時間幾乎 123.205.144.28 02/21 23:36
85F：→ Wilson310: 玩不了 123.205.144.28 02/21 23:36
86F：→ Wilson310: 選N卡至少都有嘗試的機會 123.205.144.28 02/21 23:37
87F：推 nrsair: A卡算力蠻高的 1.165.160.117 02/21 23:39
88F：→ Aquarius126: 開發訓練模型跟應用模型，需求本來就 49.216.134.1 02/22 00:02
89F：→ Aquarius126: 不一樣，單純AI應用的話，說不定如原 49.216.134.1 02/22 00:02
90F：→ Aquarius126: PO說的，不用執著N卡了 49.216.134.1 02/22 00:02
我也試過用9070XT練LoRA，只要把pytorch換rocm版然後關xformers就會動了
91F：推 htps0763: 應用還是很缺，像圖片文字辨識，語音轉 36.239.245.101 02/22 00:03
92F：→ htps0763: 文字，有很多就是純cuda開發 36.239.245.101 02/22 00:03
93F：→ htps0763: A卡現在就是盡力去搞llm這些比較熱門的 36.239.245.101 02/22 00:04
94F：→ htps0763: 但還有一堆應用在rocm上沒有實作 36.239.245.101 02/22 00:04
只要是蓋在pytorch上的東西大多都能跑
現在大多也都改用triton在寫，直接寫cuda的很少了
95F：推 nextpage: 目前老黃給的5系N卡加速NVFP4很有感 114.26.183.195 02/22 00:23
96F：推 e446582284: 結論是買N卡，希望有人能提出一個主 39.15.48.48 02/22 00:32
97F：→ e446582284: 流、N卡不能用的模型打臉我 39.15.48.48 02/22 00:32
98F：→ e446582284: 反過來只限N卡，其他不支援的一抓一 39.15.48.48 02/22 00:33
99F：→ e446582284: 大把 39.15.48.48 02/22 00:33
你說的對，但前提是不考慮錢包，直上PRO 6000肯定最佳解
其實不只N卡vs其他，新N卡vs舊N卡也會有不支援的問題
※ 編輯: james58899 (49.213.184.242 臺灣), 02/22/2026 01:41:55
100F：推 dragon6: Spark好鳥 怎麼不是用CUDA 13版220.134.198.114 02/22 01:15
101F：推 xiaotee: 推整理 1.173.147.73 02/22 02:17
102F：→ yangwen5301: 理論和實際速度還是有差的，測demo的 126.217.83.166 02/22 07:56
103F：→ yangwen5301: model兩家當然都不錯 126.217.83.166 02/22 07:56
104F：→ red0210: 看你所謂的跑 AI 是到什麼程度，一般研 111.83.151.186 02/22 07:58
105F：→ red0210: 究生程度就會發現問題超多 111.83.151.186 02/22 07:58
106F：→ red0210: 不然我還很推用 Mac 跑 AI 呢，unified 111.83.151.186 02/22 07:58
107F：→ red0210: memory 超香 111.83.151.186 02/22 07:58
108F：→ oread168: 7真的有料 終於能到理論蒜粒 1.170.206.241 02/22 09:09
109F：→ oread168: 不過重點還是comfyui有更新amd無腦安裝 1.168.190.19 02/22 09:16
110F：→ oread168: 不然肥肥也懶得弄 1.168.190.19 02/22 09:16
111F：推 pomar222: Spark就硬體太新，套件需自己解決一堆 182.233.123.35 02/22 10:35
112F：→ pomar222: 衝突，是給獨立工作室做推論用的 182.233.123.35 02/22 10:35
113F：推 pomar222: Ps別買特規線做雙機溝通，原本就很勉強 182.233.123.35 02/22 10:39
114F：→ pomar222: 地散熱空間，加了那條瘋狂發熱的特規線 182.233.123.35 02/22 10:39
115F：→ pomar222: ，推論效率直接打折 182.233.123.35 02/22 10:39
116F：→ aaz957658: AMD驅動，信者恆信，不信者終身不碰 122.254.16.87 02/22 10:45
117F：推 trfmk1: 巴哈那篇文章就我寫的 27.53.72.181 02/22 11:40
118F：→ trfmk1: 我最近把sage1集中力改寫適配A卡 27.53.72.181 02/22 11:40
119F：→ trfmk1: 速度提升20-30% 27.53.72.181 02/22 11:40
121F：推 pomar222: 簡言之要搞70b q8或者123b q6推論，買sp 49.214.9.22 02/22 11:57
122F：→ pomar222: ark最划算，其他卡雖然快但ram不夠 49.214.9.22 02/22 11:57
123F：推 Rollnmeow: I卡沒出B700系列真是可惜 36.227.242.21 02/22 12:00
124F：推 sachialanlus: 3080 有 20G 魔改版本啊 滿超值的150.117.132.227 02/22 12:13
125F：→ sachialanlus: 前陣子剛買一張說150.117.132.227 02/22 12:13
126F：→ crazy126: 原來fp16/8是主流 只敢跑fp4換更大參數 114.34.244.154 02/22 14:57
127F：推 kizajan: vram跟ram影響很大，塞不下就沒用 114.34.102.156 02/22 15:44
128F：推 keepgoingKH: 感謝實測，amd比想像的要好一點！？ 42.73.175.107 02/22 17:09
129F：推 kizajan: 9070xt雖然vram比較小，但跑fp8比7900xt 114.34.102.156 02/22 22:29
130F：→ kizajan: x快，記憶體排程也比較好，rdna4優勢 114.34.102.156 02/22 22:29
131F：→ ganei: 支援度先不提，FP4跟INT4要用也得看場合 118.165.152.35 02/23 05:44
132F：推 towe77: 40/5070怎麼算，表格可以判斷HBM價值的 1.169.38.212 02/23 17:03
133F：→ ganei: HBM不是萬靈丹，要不然那批MI-50洋垃圾不會 111.71.32.33 02/23 18:25
134F：→ ganei: 是那種價錢 111.71.32.33 02/23 18:25
135F：→ thomaschion: 想試AI正確做法是訂閱，不是花大錢 39.12.96.246 02/23 19:44
136F：→ thomaschion: 買卡 39.12.96.246 02/23 19:44
線上服務不能澀澀，grok生圖最近才被幹的很慘
137F：推 DJRobin: 看留言提到支援度就一堆"幾乎""大多數"" 211.72.53.140 02/24 11:04
138F：→ DJRobin: "可能""應該"的，不就正好反映二者的價差 211.72.53.140 02/24 11:04
139F：→ DJRobin: 和接受度嗎 211.72.53.140 02/24 11:05
因為軟體的東西實在不好說
像是包在AMD AI大禮包裡的ollama都能開場壞掉
這就像NV獨家的DLSS，AMD和Intel都有替代方案
但不代表所有有支援DLSS的遊戲都會去支援FSR或XeSS
AI的東西也一樣，用了NV獨家的東西那肯定是沒辦法支援
如果用到了就只能乖乖付錢給老黃，或者找其他替代方案
140F：推 ldickee: 感謝整理分享 39.12.169.200 02/24 13:13
※ 編輯: james58899 (49.213.184.242 臺灣), 02/24/2026 18:09:27