作者huabandd (我是阿肥巴你头)
看板MAC
标题[硬体] M2 Ultra的强大
时间Mon Jul 3 12:22:44 2023
https://youtu.be/UsfmqTb2NVY
YTer林亦常常讲解一些苹果生态的玩意
看他讲M2 Ultra才知道到底晶片有多强大
感觉可以开始期待未来几年的Macbook Air大幅提升了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.137.247.250 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MAC/M.1688358170.A.F3E.html
1F：推 maplefff: 拜托一下现在LLM都是几万张H100在搞的 07/03 12:38
2F：→ maplefff: 没有人会搞什麽单机跑AI这种项目了 07/03 12:38
3F：→ maplefff: 边缘系统真的搞得起来得只有推理 07/03 12:38
4F：嘘 parislove3: 你确定要PO这厮的片？在B站被骂翻 内容概念错误百出 07/03 12:41
真假？还想说他讲的东西都不错XD
5F：→ LuckSK: 越会画虎烂的越多受众 07/03 13:29
6F：推 yytseng: 低成本记忆体方案吧，毕竟这趋势下去M3 ultra M4 ultra才 07/03 14:19
7F：→ yytseng: 是未来值得期待的。NV一张卡抵一台了 07/03 14:19
8F：→ yytseng: 至於有没有用我觉得对大模型不够但对一般小公司很好用了 07/03 14:20
9F：→ yytseng: 正常人不会把自己的know how放到云端给别人的机器学习的 07/03 14:21
10F：推 TuCH: LLM能在本地端自己做推理也是很有价值 07/03 15:08
11F：→ TuCH: 很多隐私的资料或着没有外网的环境 07/03 15:08
12F：推 iKelly: M系列的晶片问题在於记忆体最大上限只到192GB，超过的话 07/03 15:58
13F：→ iKelly: 苹果没有提供任何解决方案，就连最新推出的Mac pro都无解 07/03 15:59
未来没机会再提升吗？
14F：→ woodman: 未看先猜是不是拿影像编辑来吹嘘？怎麽不探讨M系列最弱「 07/03 16:31
15F：→ woodman: 稳定性」及「周边设备相容性」？ 07/03 16:31
稳定性我不知道，周边设备是只要跟什麽相容？
16F：推 ddoll288: 一楼是在搞笑吗?H100一张3.6万镁,哪来几万张? 07/03 17:12
17F：→ ddoll288: OpenAI人家估算成本也不过用了3600张A100 07/03 17:13
※ 编辑: huabandd (101.137.247.250 台湾), 07/03/2023 20:08:37
18F：推 cevs: 苹果近几年应该会推自己的显示晶片 3d方面实在不行 07/03 20:13
19F：推 iKelly: 目前M2 Ultra堆到顶就192GB，除非苹果还有技术可以串连多 07/03 20:40
20F：→ iKelly: 颗M2 Ultra，或者开放支援一般的DDR记忆体，不然顶点就在 07/03 20:41
21F：→ iKelly: 那边卡着 07/03 20:41
22F：推 xoy: 这影片就一直在夸一张192GB RAM的显卡，不能说这没有用处， 07/03 21:02
23F：→ xoy: 但是一台只有192GB RAM的工作站问题更大 07/03 21:02
24F：→ KurakiMaki: 苹果先解决ssd跟ram的价格吧，都快10年过去了 07/03 21:05
25F：→ KurakiMaki: ram跟ssd价格还在卖天价...配再快cpu也是白搭 07/03 21:05
26F：推 boris20050: 他明明就在讲个人电脑，有需要扯到工作站吗？ 07/03 21:33
27F：→ boris20050: 就是个能在自己的电脑载入超大模型，他讲的优点没啥 07/03 21:35
28F：→ boris20050: 毛病啊。显卡需要几张才能够载入这麽大的模型？ 07/03 21:35
29F：推 xoy: 高阶个人电脑RAM早就不只是192GB，更不用说工作站以TB为单位 07/03 22:16
30F：→ xoy: 很久了，苹果的x86 Mac Pro几年前就可以装1.5TB RAM，现在Ma 07/03 22:16
31F：→ xoy: c Pro或Studio就整个被M2 Ultra卡住，这影片就完全避开CPU的 07/03 22:16
32F：→ xoy: 需求，只拿纯GPU的用途，不能说没用，只是用途有限 07/03 22:16
33F：推 jimmycatmeow: 还有是市占太低了，第三方支援真的跟windows还有一 07/03 22:27
34F：→ jimmycatmeow: 段差距 07/03 22:27
35F：推 xoy: 另一点是ARM Mac完全没有GPU的扩充能力，就算是最新的Mac Pr 07/03 22:44
36F：→ xoy: o也一样。但是现在显卡很明显绘图游戏是一个用途，AI是一个 07/03 22:44
37F：→ xoy: 用途，高阶用户起码有得选 07/03 22:44
38F：推 johnpisces2: 大家太严格了吧 这台才多少钱 部分应用侵蚀h100也是 07/03 23:08
39F：→ johnpisces2: 合理的吧 真心 07/03 23:08
40F：推 iKelly: 搭载M2 Ultra的Mac studio我觉得没什麽问题，但这次用上 07/03 23:13
41F：→ iKelly: 同晶片的Mac pro号称有扩充能力，却连记忆体和GPU都没有 07/03 23:13
42F：→ iKelly: 更优雅的解决方案，摆明就是急就章推出的产品，身为资深 07/03 23:13
43F：→ iKelly: 果粉的我也看不下去 07/03 23:13
44F：推 boris20050: 原来一般人就用得到工作站了 07/03 23:55
45F：推 CGary: 他刚好拿了个gpt这种 做推理已经不需要太高计算力又很需要 07/03 23:59
46F：→ CGary: 大显存的 别说啥, 叫他跑个controlnet 就知道了... 07/03 23:59
47F：→ CGary: m2比拿大显存老显卡(P40这类的)拼装简单点 但是如果要长期 07/04 00:01
48F：→ CGary: 投入在深度学习的 暂时NV的对手连他的前一圈车尾灯都没看到 07/04 00:01
49F：推 xoy: M2 Ultra把RAM加满的价格不管是Studio或Pro也不是一般人会花 07/04 06:29
50F：→ xoy: 的钱，影片夸它的C/P值是建立在好几个前提下，只靠GPU、GPU 07/04 06:29
51F：→ xoy: 一定要一百多GB RAM但是需求又不能超过两百、运算不允许分散 07/04 06:29
52F：→ xoy: 给多张GPU等等，一定要先去设想一个单张或多张一般显卡做不 07/04 06:29
53F：→ xoy: 到的事，然後就C/P值好高 07/04 06:29
54F：推 TuCH: 玩AI大模型的cp值很高没有错啊 不然要买一台几百万的DGX? 07/04 08:09
55F：→ exojin: Intel时期的苹果才是强大，本身强兼容性也强，现在的M系列 07/04 08:20
56F：→ exojin: 稳定性跟兼容性差到不行，苹果可以吹嘘M处理器的强大，但 07/04 08:20
57F：→ exojin: 使用者不这麽认为喔。 07/04 08:20
58F：推 ho83leo: 身为码农，自从WWDC 推出GPTK 我就更喜欢苹果了… 07/04 08:23
59F：推 xoy: DGX的规格哪里是Mac Pro跟Studio可以比的，反过来说现在的Ma 07/04 09:00
60F：→ xoy: c也组不出高阶的AI运算平台 07/04 09:00
61F：推 yytseng: 27万可以玩的本地AI，还能不满啥？你有公费无限预算拿去 07/04 09:07
62F：→ yytseng: 买dgx gh200啊，不过先排队等待吧，前面一堆一线公司都 07/04 09:07
63F：→ yytseng: 还没拿到呢 07/04 09:07
65F：推 xoy: 对啊，这些一线公司为什麽这麽笨不买M2 Ultra就好？要做本地 07/04 09:15
66F：→ xoy: AI又不是只有ARM Mac跟贵到天边的DGX可以选，一直扯DGX有什 07/04 09:15
67F：→ xoy: 麽意义？一般人学习AI也是一开始就排队买DGX吗？PC+显卡都不 07/04 09:15
68F：→ xoy: 存在了？ 07/04 09:15
69F：推 yytseng: 27万你组的到192GB VRAM? 07/04 09:17
70F：推 xoy: 前面我就说这C/P值是限定条件，如果我不需要一百以上或需要 07/04 09:25
71F：→ xoy: 超过两百的VRAM这就没什麽吸引力，更何况这都还没比苹果跟NV 07/04 09:25
72F：→ xoy: IDIA的GPU算AI的实力，纯粹只是当一张VRAM在一到两百GB之间 07/04 09:25
73F：→ xoy: 的特殊显卡，还不让人把多显卡这现在PC简单到不行的扩充拿来 07/04 09:25
74F：→ xoy: 比 07/04 09:25
75F：推 yytseng: 八片以上4090连起来就不是特殊情境？难道你家还在挖矿？ 07/04 09:31
76F：→ yytseng: 192GB以下苹果的cp值就无敌啊。至於速度yt有一堆评测了 07/04 09:31
77F：→ yytseng: ，比3090快，4090还没实际比较，把cuda改成mps就能跑， 07/04 09:31
78F：→ yytseng: 似乎软体也没什麽问题。 07/04 09:31
79F：→ yytseng: 就算你只要24GB以下的记忆体，算一下价格还是苹果胜好吗 07/04 09:33
80F：→ yytseng: ，一片4090六万还要特殊电源跟冷却 07/04 09:33
81F：推 xoy: NV不是只有游戏显卡，真要堆大容量VRAM用绘图卡数量可以变少 07/04 10:12
82F：→ xoy: 但是的确很贵。M1 Ultra早就有128GB RAM可给GPU用了但是也没 07/04 10:12
83F：→ xoy: 看到影音绘图AI等产业高阶应用抛弃NV跑来苹果，就算跟游戏显 07/04 10:12
84F：→ xoy: 卡比游戏比绘图苹果目前也没赢面。这影片的比较基础是把VRAM 07/04 10:12
85F：→ xoy: 容量占比极大化跟AI显卡比价格，前面也有网友提到了比的也不 07/04 10:12
86F：→ xoy: 是很耗GPU运算能力的，也无视NV在AI领域的软体支援度，找个 07/04 10:12
87F：→ xoy: 有移植ARM Mac的就好 07/04 10:12
88F：推 xoy: 当初ARM Mac出来我想说买个64GB RAM的机器也没贵到哪里，GPU 07/04 10:25
89F：→ xoy: 拨个四五十GB不就轻松打爆NVIDIA高阶绘图卡了？问题就是没有 07/04 10:25
90F：推 deep236: Mac Pro没办法额外扩充记忆体真的很无言 07/04 10:49
91F：推 yytseng: M1才是一代Apple ARM 而已，你要开源软体转多快过来啊? 07/04 12:33
92F：→ yytseng: 一年前ChatGPT有几个人知道啊，这种就刚好要130GB记忆体 07/04 12:34
93F：推 johnpisces2: pytorch可以运行的话，其实跨出一大步了 07/04 12:34
94F：→ yytseng: 对啊，open source 社群有在动了就是有用，我也装来玩玩 07/04 12:35
95F：→ yytseng: 如果遇到记忆体瓶颈，我应该会买Mac Studio而不是搞4090 07/04 12:36
96F：→ yytseng: 之前问过报价组4090单显卡就要15万左右，又吵又热 07/04 12:37
97F：推 yytseng: NV A6000凑到192GB 某家组好报价107万，这我玩票的买不起 07/04 12:41
98F：→ yytseng: 一直拿工作站来比，不知道是在讲啥，开AI服务公司的吗... 07/04 12:44
99F：→ iincho: 这个就是土炮的野路子 07/04 13:39
100F：→ iincho: 就刚好苹果统一记忆体做这个合适 07/04 13:40
101F：→ iincho: 算是穷人方案吧，当然和正规不能比 07/04 13:41
102F：→ iincho: 但是喷的人好歹先看看价钱啊 07/04 13:42
103F：推 xoy: 就AI不只是GPT，而GPT看规模学生用一般显卡就可以学了，也听 07/04 15:21
104F：→ xoy: 说有model大到没有单张显卡塞得下，也有人做CPU+GPU+SSD而不 07/04 15:21
105F：→ xoy: 是只用GPU。玩票的自然不会花上百万买来只是玩玩，一般人也 07/04 15:21
106F：→ xoy: 不容易掏出十几二十万只为了跑GPT 07/04 15:21
107F：推 xoy: 当初M1有Pro跟Max开发社群玩AI的早就摩拳擦掌在玩了 07/04 16:44
109F：→ xoy: 最近另一个热门话题AI自动绘图像Stable Diffusion也有Apple 07/04 16:50
110F：→ xoy: Silicon版，效能还是比不上x86+NVIDIA。不过苹果在开发者平 07/04 16:50
111F：→ xoy: 台还是一直投入AI资源，没有厂商会缺席，只是苹果的架构未来 07/04 16:50
112F：→ xoy: 能翻转多少现况就再看看了，我是很想梭一台Studio来算图啦， 07/04 16:50
113F：→ xoy: 慢点是还好起码比较不吵 07/04 16:50
114F：推 cgjosephlee: 也不是全部ram都可以当vram用，64G机器mps只能用48G 07/04 17:03
116F：推 CGary: 其实我还蛮喜欢m系列的架构的 未来越来越成熟 他一体化gpu 07/04 17:42
117F：→ CGary: 的优点的确是存在的 但是此时此刻 他还不成熟 但他对於大模 07/04 17:43
118F：→ CGary: 型也真的有一定的用途 只是你是看到他一开始说吊打NV而心动 07/04 17:44
119F：→ CGary: 跳进去 那一定会後悔就是了 他至少在这代 还离真的成熟很远 07/04 17:45
120F：→ woodman: 这个价位标配1TSSD没关系，苹果本来就这种尿性，但都买 07/04 21:24
121F：→ woodman: 到Mac pro我居然没办法自行升级SSD？又是该死的slicon把S 07/04 21:24
122F：→ woodman: SD跟CPU黏在ㄧ起。 07/04 21:24
123F：→ tyf99: Mac Pro 2023 应该能插 PCIe SSD， 07/04 21:52
124F：→ tyf99: 不然它大可直说不能用，就像显卡那样 07/04 21:52
125F：→ concord: 可以装 SSD ，不过要注意插槽共用频宽的问题 07/04 22:06
126F：→ exojin: 2019 Mac pro有标配两个M.2槽可以插SSD。2023年的Mac pro 07/04 22:36
127F：→ exojin: 走pci插槽有可能也认不到SSD,毕竟显卡、记忆体、SSD都跟CP 07/04 22:36
128F：→ exojin: U绑在一起了。 07/04 22:36
129F：→ NoneWolf: 这影片到处都有人在宣传 感觉有鬼 07/05 10:55
130F：嘘 VictorZ: 中国干片还是少看 07/05 12:37
131F：推 JaveXP: 因为中国人买不了H100，当然只能吹M2 07/05 15:34
132F：→ concord: 2023 Mac Pro 可以装 PCIe SSD ， Highpoint 的产品已经 07/05 16:45
133F：→ concord: 声明可以用了，目前只是不清楚相容性是否会有特殊问题 07/05 16:46
134F：→ Andosinjo: 口音我不行，恶心 07/07 01:03
135F：推 Pelassy: 其实对於模型训练来说，VRAM远比算力重要，没有batch s 07/08 17:00
136F：→ Pelassy: ize没有收敛。 07/08 17:00
137F：推 jhjhs33504: 推文连结好重要~苹果的品质应该是确保满载也不降速吧? 07/12 14:05