作者QMO220 (Must Be Something)
看板PC_Shopping
标题[请益] 有人用Mac Studio跑AI大型模型了吗
时间Thu Apr 24 14:53:36 2025
最近看到要塞大模型的话要很多显卡记忆体
还要设定串联有的没的
最近Mac Studio有出了512记忆体的版本
好像甚麽模型都快塞得进去了
跑起来如何呢
感觉慢一点没关系
但至少精度会比较好对吧
有高手可以指点一下吗
在想说要买MAC跑还是用显卡的方式来跑
感谢大家回复
看起来似乎是慢慢的 我再想想XD
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.79.176.121 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1745477620.A.0D9.html
※ 编辑: QMO220 (42.79.176.121 台湾), 04/24/2025 14:54:38
1F：推 iamdc1118: 跑模型没问题 问题是没钱 114.33.212.198 04/24 14:55
2F：推 SRNOB: 看需求 有更便宜方 直接说结论 使用API方便 111.255.74.80 04/24 14:55
3F：→ SRNOB: 养一头牛喝一瓶鲜奶太浪费 111.255.74.80 04/24 14:56
4F：推 hongx: 除非真的有什麽敏感资料，不然还是付费用AP 136.23.34.83 04/24 15:06
5F：→ hongx: I比较实用。 136.23.34.83 04/24 15:06
6F：→ hongx: 加上Mac Studio的记忆体频宽还是太差，性 136.23.34.83 04/24 15:06
7F：→ hongx: 能很难媲美目前主流平台的速度。 136.23.34.83 04/24 15:06
8F：→ coox: 如果只选这两种方案当然是买显卡啊 163.26.206.202 04/24 15:09
9F：→ coox: 最终都是看哪个社群比较强大 163.26.206.202 04/24 15:10
10F：→ abc0922001: 会跑超慢吧，但至少是能跑 203.66.179.162 04/24 15:14
11F：→ Syu: 之前有MacbookProM4跟雷蛇旗舰对干的片是赢 147.79.28.18 04/24 15:22
12F：→ Syu: Studio的可以找或等看看有没有review 147.79.28.18 04/24 15:22
13F：→ vsbrm: 能接受的定义是？ 一秒钟回一个字还是10分 42.77.101.3 04/24 15:26
14F：→ vsbrm: 钟回一个字？ 42.77.101.3 04/24 15:27
15F：推 MK47: 直接买API就好了 在MAC上跑就是玩兴趣的 谁 36.235.208.188 04/24 15:28
16F：→ MK47: 真的工作用本机跑啊....... 36.235.208.188 04/24 15:29
17F：→ MK47: 起码个人或一般商家不需要考虑这种事情吧 36.235.208.188 04/24 15:29
18F：→ SeulDesir: 比32gb显卡好多了 219.79.95.88 04/24 15:34
20F：→ lordmi: 目前看到速度大概是18.87t/s 这个成本跑 36.229.66.96 04/24 15:43
21F：→ lordmi: deepseek-r1:671b(4bit MLX)我只能说有钱 36.229.66.96 04/24 15:44
22F：→ lordmi: 可以捐公益剩下的买api就好 36.229.66.96 04/24 15:44
23F：推 kuninaka: 自己训练模型才需要 211.20.234.13 04/24 15:46
24F：→ kuninaka: 如果没要训练，API便宜很多 211.20.234.13 04/24 15:46
25F：推 icuteasd: 只能说土豪 223.137.6.57 04/24 15:55
26F：→ lordmi: 另外提醒，加到512实作上仍不可能放进一个 36.229.66.96 04/24 16:01
27F：→ lordmi: 满血的ds，还是老老实实买H200阵列吧 36.229.66.96 04/24 16:02
28F：→ leolarrel: 这个版,只要问就是回答买新的 123.51.165.127 04/24 16:05
30F：→ Shigeru777: 30B左右的模型还OK 再上去速度不快RAM 101.12.112.178 04/24 16:09
31F：→ Shigeru777: 也用很凶很花钱 101.12.112.178 04/24 16:09
32F：推 aegis43210: 苹果除了记忆体大之外，跑训练非常慢 106.104.73.84 04/24 16:10
33F：→ aegis43210: ，推论也输同价格的老黄，不建议为了A 106.104.73.84 04/24 16:10
34F：→ aegis43210: I买苹果 106.104.73.84 04/24 16:10
35F：推 aegis43210: 6000 ada现在已经非常好入手了 106.104.73.84 04/24 16:13
36F：推 march55237: 买来配Ollama跑跑量化模型除了慢了点 42.70.220.23 04/24 16:20
37F：→ march55237: 外没啥问题 训练就不用想了 42.70.220.23 04/24 16:20
38F：→ march55237: 同样70b量化 mac的建置成本就是比买 42.70.220.23 04/24 16:21
39F：→ march55237: 卡便宜和省电 但就是推论慢 只适合实 42.70.220.23 04/24 16:21
40F：→ march55237: 验用 42.70.220.23 04/24 16:21
41F：推 jkiu: 买 API 用就好，经济实惠 36.224.191.123 04/24 16:27
42F：推 raise2019: 买5090没钱，换mac studio依样也是没钱 140.109.40.73 04/24 16:52
43F：推 Shigeru777: 要跑参数稍微大的模型 单张5090还不够 110.28.113.251 04/24 16:53
44F：→ Shigeru777: 勒 110.28.113.251 04/24 16:53
45F：推 lordmi: 不过我觉得m3u跑本地小模型其实也还行， 223.137.85.165 04/24 17:47
46F：→ lordmi: 总比用洋垃圾搭凑出一台又吵又热的机器好 223.137.85.165 04/24 17:47
47F：→ lordmi: 。然後平常还可以跑跑生产力什麽的 223.137.85.165 04/24 17:47
48F：推 jhjhs33504: 高效的UMA只解决了quantity问题但是 1.162.112.168 04/24 17:52
49F：→ jhjhs33504: quality问题也只赢过独立显卡目前看来 1.162.112.168 04/24 17:53
50F：→ jhjhs33504: TPU的潜力很大不然量子电脑量产还很久 1.162.112.168 04/24 17:55
51F：推 guanting886: 在mac跑这个真的是跑兴趣的 除非你 42.78.140.11 04/24 18:58
52F：→ guanting886: 要搞cluster 42.78.140.11 04/24 18:58
53F：推 ninggo: 乖乖花十万买老黄的ai pc吧 27.52.132.61 04/24 21:37
54F：→ cutejojocat: 有在跑的也不怎麽跑这板吧 不如上Red 36.229.193.189 04/25 00:08
55F：→ cutejojocat: dit找看看 36.229.193.189 04/25 00:08
56F：→ cutejojocat: 会思考这个问题的 十万可能是美金才 36.229.193.189 04/25 00:09
57F：→ cutejojocat: 跑得动 36.229.193.189 04/25 00:09
※ 编辑: QMO220 (111.71.100.120 台湾), 04/25/2025 10:25:13