作者QMO220 (Must Be Something)
看板PC_Shopping
標題[請益] 有人用Mac Studio跑AI大型模型了嗎
時間Thu Apr 24 14:53:36 2025
最近看到要塞大模型的話要很多顯卡記憶體
還要設定串聯有的沒的
最近Mac Studio有出了512記憶體的版本
好像甚麼模型都快塞得進去了
跑起來如何呢
感覺慢一點沒關係
但至少精度會比較好對吧
有高手可以指點一下嗎
在想說要買MAC跑還是用顯卡的方式來跑
感謝大家回復
看起來似乎是慢慢的 我再想想XD
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.176.121 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1745477620.A.0D9.html
※ 編輯: QMO220 (42.79.176.121 臺灣), 04/24/2025 14:54:38
1F：推 iamdc1118: 跑模型沒問題 問題是沒錢 114.33.212.198 04/24 14:55
2F：推 SRNOB: 看需求 有更便宜方 直接說結論 使用API方便 111.255.74.80 04/24 14:55
3F：→ SRNOB: 養一頭牛喝一瓶鮮奶太浪費 111.255.74.80 04/24 14:56
4F：推 hongx: 除非真的有什麼敏感資料，不然還是付費用AP 136.23.34.83 04/24 15:06
5F：→ hongx: I比較實用。 136.23.34.83 04/24 15:06
6F：→ hongx: 加上Mac Studio的記憶體頻寬還是太差，性 136.23.34.83 04/24 15:06
7F：→ hongx: 能很難媲美目前主流平台的速度。 136.23.34.83 04/24 15:06
8F：→ coox: 如果只選這兩種方案當然是買顯卡啊 163.26.206.202 04/24 15:09
9F：→ coox: 最終都是看哪個社群比較強大 163.26.206.202 04/24 15:10
10F：→ abc0922001: 會跑超慢吧，但至少是能跑 203.66.179.162 04/24 15:14
11F：→ Syu: 之前有MacbookProM4跟雷蛇旗艦對幹的片是贏 147.79.28.18 04/24 15:22
12F：→ Syu: Studio的可以找或等看看有沒有review 147.79.28.18 04/24 15:22
13F：→ vsbrm: 能接受的定義是？ 一秒鐘回一個字還是10分 42.77.101.3 04/24 15:26
14F：→ vsbrm: 鐘回一個字？ 42.77.101.3 04/24 15:27
15F：推 MK47: 直接買API就好了 在MAC上跑就是玩興趣的 誰 36.235.208.188 04/24 15:28
16F：→ MK47: 真的工作用本機跑啊....... 36.235.208.188 04/24 15:29
17F：→ MK47: 起碼個人或一般商家不需要考慮這種事情吧 36.235.208.188 04/24 15:29
18F：→ SeulDesir: 比32gb顯卡好多了 219.79.95.88 04/24 15:34
20F：→ lordmi: 目前看到速度大概是18.87t/s 這個成本跑 36.229.66.96 04/24 15:43
21F：→ lordmi: deepseek-r1:671b(4bit MLX)我只能說有錢 36.229.66.96 04/24 15:44
22F：→ lordmi: 可以捐公益剩下的買api就好 36.229.66.96 04/24 15:44
23F：推 kuninaka: 自己訓練模型才需要 211.20.234.13 04/24 15:46
24F：→ kuninaka: 如果沒要訓練，API便宜很多 211.20.234.13 04/24 15:46
25F：推 icuteasd: 只能說土豪 223.137.6.57 04/24 15:55
26F：→ lordmi: 另外提醒，加到512實作上仍不可能放進一個 36.229.66.96 04/24 16:01
27F：→ lordmi: 滿血的ds，還是老老實實買H200陣列吧 36.229.66.96 04/24 16:02
28F：→ leolarrel: 這個版,只要問就是回答買新的 123.51.165.127 04/24 16:05
30F：→ Shigeru777: 30B左右的模型還OK 再上去速度不快RAM 101.12.112.178 04/24 16:09
31F：→ Shigeru777: 也用很凶很花錢 101.12.112.178 04/24 16:09
32F：推 aegis43210: 蘋果除了記憶體大之外，跑訓練非常慢 106.104.73.84 04/24 16:10
33F：→ aegis43210: ，推論也輸同價格的老黃，不建議為了A 106.104.73.84 04/24 16:10
34F：→ aegis43210: I買蘋果 106.104.73.84 04/24 16:10
35F：推 aegis43210: 6000 ada現在已經非常好入手了 106.104.73.84 04/24 16:13
36F：推 march55237: 買來配Ollama跑跑量化模型除了慢了點 42.70.220.23 04/24 16:20
37F：→ march55237: 外沒啥問題 訓練就不用想了 42.70.220.23 04/24 16:20
38F：→ march55237: 同樣70b量化 mac的建置成本就是比買 42.70.220.23 04/24 16:21
39F：→ march55237: 卡便宜和省電 但就是推論慢 只適合實 42.70.220.23 04/24 16:21
40F：→ march55237: 驗用 42.70.220.23 04/24 16:21
41F：推 jkiu: 買 API 用就好，經濟實惠 36.224.191.123 04/24 16:27
42F：推 raise2019: 買5090沒錢，換mac studio依樣也是沒錢 140.109.40.73 04/24 16:52
43F：推 Shigeru777: 要跑參數稍微大的模型 單張5090還不夠 110.28.113.251 04/24 16:53
44F：→ Shigeru777: 勒 110.28.113.251 04/24 16:53
45F：推 lordmi: 不過我覺得m3u跑本地小模型其實也還行， 223.137.85.165 04/24 17:47
46F：→ lordmi: 總比用洋垃圾搭湊出一台又吵又熱的機器好 223.137.85.165 04/24 17:47
47F：→ lordmi: 。然後平常還可以跑跑生產力什麼的 223.137.85.165 04/24 17:47
48F：推 jhjhs33504: 高效的UMA只解決了quantity問題但是 1.162.112.168 04/24 17:52
49F：→ jhjhs33504: quality問題也只贏過獨立顯卡目前看來 1.162.112.168 04/24 17:53
50F：→ jhjhs33504: TPU的潛力很大不然量子電腦量產還很久 1.162.112.168 04/24 17:55
51F：推 guanting886: 在mac跑這個真的是跑興趣的 除非你 42.78.140.11 04/24 18:58
52F：→ guanting886: 要搞cluster 42.78.140.11 04/24 18:58
53F：推 ninggo: 乖乖花十萬買老黃的ai pc吧 27.52.132.61 04/24 21:37
54F：→ cutejojocat: 有在跑的也不怎麼跑這板吧 不如上Red 36.229.193.189 04/25 00:08
55F：→ cutejojocat: dit找看看 36.229.193.189 04/25 00:08
56F：→ cutejojocat: 會思考這個問題的 十萬可能是美金才 36.229.193.189 04/25 00:09
57F：→ cutejojocat: 跑得動 36.229.193.189 04/25 00:09
※ 編輯: QMO220 (111.71.100.120 臺灣), 04/25/2025 10:25:13