作者huabandd (我是阿肥巴你頭)
看板MAC
標題[硬體] M2 Ultra的強大
時間Mon Jul 3 12:22:44 2023
https://youtu.be/UsfmqTb2NVY
YTer林亦常常講解一些蘋果生態的玩意
看他講M2 Ultra才知道到底晶片有多強大
感覺可以開始期待未來幾年的Macbook Air大幅提升了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.247.250 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/MAC/M.1688358170.A.F3E.html
1F：推 maplefff: 拜託一下現在LLM都是幾萬張H100在搞的 07/03 12:38
2F：→ maplefff: 沒有人會搞什麼單機跑AI這種項目了 07/03 12:38
3F：→ maplefff: 邊緣系統真的搞得起來得只有推理 07/03 12:38
4F：噓 parislove3: 你確定要PO這廝的片？在B站被罵翻 內容概念錯誤百出 07/03 12:41
真假？還想說他講的東西都不錯XD
5F：→ LuckSK: 越會畫虎爛的越多受眾 07/03 13:29
6F：推 yytseng: 低成本記憶體方案吧，畢竟這趨勢下去M3 ultra M4 ultra才 07/03 14:19
7F：→ yytseng: 是未來值得期待的。NV一張卡抵一台了 07/03 14:19
8F：→ yytseng: 至於有沒有用我覺得對大模型不夠但對一般小公司很好用了 07/03 14:20
9F：→ yytseng: 正常人不會把自己的know how放到雲端給別人的機器學習的 07/03 14:21
10F：推 TuCH: LLM能在本地端自己做推理也是很有價值 07/03 15:08
11F：→ TuCH: 很多隱私的資料或著沒有外網的環境 07/03 15:08
12F：推 iKelly: M系列的晶片問題在於記憶體最大上限只到192GB，超過的話 07/03 15:58
13F：→ iKelly: 蘋果沒有提供任何解決方案，就連最新推出的Mac pro都無解 07/03 15:59
未來沒機會再提升嗎？
14F：→ woodman: 未看先猜是不是拿影像編輯來吹噓？怎麼不探討M系列最弱「 07/03 16:31
15F：→ woodman: 穩定性」及「周邊設備相容性」？ 07/03 16:31
穩定性我不知道，週邊設備是只要跟什麼相容？
16F：推 ddoll288: 一樓是在搞笑嗎?H100一張3.6萬鎂,哪來幾萬張? 07/03 17:12
17F：→ ddoll288: OpenAI人家估算成本也不過用了3600張A100 07/03 17:13
※ 編輯: huabandd (101.137.247.250 臺灣), 07/03/2023 20:08:37
18F：推 cevs: 蘋果近幾年應該會推自己的顯示晶片 3d方面實在不行 07/03 20:13
19F：推 iKelly: 目前M2 Ultra堆到頂就192GB，除非蘋果還有技術可以串連多 07/03 20:40
20F：→ iKelly: 顆M2 Ultra，或者開放支援一般的DDR記憶體，不然頂點就在 07/03 20:41
21F：→ iKelly: 那邊卡著 07/03 20:41
22F：推 xoy: 這影片就一直在誇一張192GB RAM的顯卡，不能說這沒有用處， 07/03 21:02
23F：→ xoy: 但是一台只有192GB RAM的工作站問題更大 07/03 21:02
24F：→ KurakiMaki: 蘋果先解決ssd跟ram的價格吧，都快10年過去了 07/03 21:05
25F：→ KurakiMaki: ram跟ssd價格還在賣天價...配再快cpu也是白搭 07/03 21:05
26F：推 boris20050: 他明明就在講個人電腦，有需要扯到工作站嗎？ 07/03 21:33
27F：→ boris20050: 就是個能在自己的電腦載入超大模型，他講的優點沒啥 07/03 21:35
28F：→ boris20050: 毛病啊。顯卡需要幾張才能夠載入這麼大的模型？ 07/03 21:35
29F：推 xoy: 高階個人電腦RAM早就不只是192GB，更不用說工作站以TB為單位 07/03 22:16
30F：→ xoy: 很久了，蘋果的x86 Mac Pro幾年前就可以裝1.5TB RAM，現在Ma 07/03 22:16
31F：→ xoy: c Pro或Studio就整個被M2 Ultra卡住，這影片就完全避開CPU的 07/03 22:16
32F：→ xoy: 需求，只拿純GPU的用途，不能說沒用，只是用途有限 07/03 22:16
33F：推 jimmycatmeow: 還有是市佔太低了，第三方支援真的跟windows還有一 07/03 22:27
34F：→ jimmycatmeow: 段差距 07/03 22:27
35F：推 xoy: 另一點是ARM Mac完全沒有GPU的擴充能力，就算是最新的Mac Pr 07/03 22:44
36F：→ xoy: o也一樣。但是現在顯卡很明顯繪圖遊戲是一個用途，AI是一個 07/03 22:44
37F：→ xoy: 用途，高階用戶起碼有得選 07/03 22:44
38F：推 johnpisces2: 大家太嚴格了吧 這台才多少錢 部分應用侵蝕h100也是 07/03 23:08
39F：→ johnpisces2: 合理的吧 真心 07/03 23:08
40F：推 iKelly: 搭載M2 Ultra的Mac studio我覺得沒什麼問題，但這次用上 07/03 23:13
41F：→ iKelly: 同晶片的Mac pro號稱有擴充能力，卻連記憶體和GPU都沒有 07/03 23:13
42F：→ iKelly: 更優雅的解決方案，擺明就是急就章推出的產品，身為資深 07/03 23:13
43F：→ iKelly: 果粉的我也看不下去 07/03 23:13
44F：推 boris20050: 原來一般人就用得到工作站了 07/03 23:55
45F：推 CGary: 他剛好拿了個gpt這種 做推理已經不需要太高計算力又很需要 07/03 23:59
46F：→ CGary: 大顯存的 別說啥, 叫他跑個controlnet 就知道了... 07/03 23:59
47F：→ CGary: m2比拿大顯存老顯卡(P40這類的)拼裝簡單點 但是如果要長期 07/04 00:01
48F：→ CGary: 投入在深度學習的 暫時NV的對手連他的前一圈車尾燈都沒看到 07/04 00:01
49F：推 xoy: M2 Ultra把RAM加滿的價格不管是Studio或Pro也不是一般人會花 07/04 06:29
50F：→ xoy: 的錢，影片誇它的C/P值是建立在好幾個前提下，只靠GPU、GPU 07/04 06:29
51F：→ xoy: 一定要一百多GB RAM但是需求又不能超過兩百、運算不允許分散 07/04 06:29
52F：→ xoy: 給多張GPU等等，一定要先去設想一個單張或多張一般顯卡做不 07/04 06:29
53F：→ xoy: 到的事，然後就C/P值好高 07/04 06:29
54F：推 TuCH: 玩AI大模型的cp值很高沒有錯啊 不然要買一台幾百萬的DGX? 07/04 08:09
55F：→ exojin: Intel時期的蘋果才是強大，本身強兼容性也強，現在的M系列 07/04 08:20
56F：→ exojin: 穩定性跟兼容性差到不行，蘋果可以吹噓M處理器的強大，但 07/04 08:20
57F：→ exojin: 使用者不這麼認為喔。 07/04 08:20
58F：推 ho83leo: 身為碼農，自從WWDC 推出GPTK 我就更喜歡蘋果了… 07/04 08:23
59F：推 xoy: DGX的規格哪裡是Mac Pro跟Studio可以比的，反過來說現在的Ma 07/04 09:00
60F：→ xoy: c也組不出高階的AI運算平台 07/04 09:00
61F：推 yytseng: 27萬可以玩的本地AI，還能不滿啥？你有公費無限預算拿去 07/04 09:07
62F：→ yytseng: 買dgx gh200啊，不過先排隊等待吧，前面一堆一線公司都 07/04 09:07
63F：→ yytseng: 還沒拿到呢 07/04 09:07
65F：推 xoy: 對啊，這些一線公司為什麼這麼笨不買M2 Ultra就好？要做本地 07/04 09:15
66F：→ xoy: AI又不是只有ARM Mac跟貴到天邊的DGX可以選，一直扯DGX有什 07/04 09:15
67F：→ xoy: 麼意義？一般人學習AI也是一開始就排隊買DGX嗎？PC+顯卡都不 07/04 09:15
68F：→ xoy: 存在了？ 07/04 09:15
69F：推 yytseng: 27萬你組的到192GB VRAM? 07/04 09:17
70F：推 xoy: 前面我就說這C/P值是限定條件，如果我不需要一百以上或需要 07/04 09:25
71F：→ xoy: 超過兩百的VRAM這就沒什麼吸引力，更何況這都還沒比蘋果跟NV 07/04 09:25
72F：→ xoy: IDIA的GPU算AI的實力，純粹只是當一張VRAM在一到兩百GB之間 07/04 09:25
73F：→ xoy: 的特殊顯卡，還不讓人把多顯卡這現在PC簡單到不行的擴充拿來 07/04 09:25
74F：→ xoy: 比 07/04 09:25
75F：推 yytseng: 八片以上4090連起來就不是特殊情境？難道你家還在挖礦？ 07/04 09:31
76F：→ yytseng: 192GB以下蘋果的cp值就無敵啊。至於速度yt有一堆評測了 07/04 09:31
77F：→ yytseng: ，比3090快，4090還沒實際比較，把cuda改成mps就能跑， 07/04 09:31
78F：→ yytseng: 似乎軟體也沒什麼問題。 07/04 09:31
79F：→ yytseng: 就算你只要24GB以下的記憶體，算一下價格還是蘋果勝好嗎 07/04 09:33
80F：→ yytseng: ，一片4090六萬還要特殊電源跟冷卻 07/04 09:33
81F：推 xoy: NV不是只有遊戲顯卡，真要堆大容量VRAM用繪圖卡數量可以變少 07/04 10:12
82F：→ xoy: 但是的確很貴。M1 Ultra早就有128GB RAM可給GPU用了但是也沒 07/04 10:12
83F：→ xoy: 看到影音繪圖AI等產業高階應用拋棄NV跑來蘋果，就算跟遊戲顯 07/04 10:12
84F：→ xoy: 卡比遊戲比繪圖蘋果目前也沒贏面。這影片的比較基礎是把VRAM 07/04 10:12
85F：→ xoy: 容量占比極大化跟AI顯卡比價格，前面也有網友提到了比的也不 07/04 10:12
86F：→ xoy: 是很耗GPU運算能力的，也無視NV在AI領域的軟體支援度，找個 07/04 10:12
87F：→ xoy: 有移植ARM Mac的就好 07/04 10:12
88F：推 xoy: 當初ARM Mac出來我想說買個64GB RAM的機器也沒貴到哪裡，GPU 07/04 10:25
89F：→ xoy: 撥個四五十GB不就輕鬆打爆NVIDIA高階繪圖卡了？問題就是沒有 07/04 10:25
90F：推 deep236: Mac Pro沒辦法額外擴充記憶體真的很無言 07/04 10:49
91F：推 yytseng: M1才是一代Apple ARM 而已，你要開源軟體轉多快過來啊? 07/04 12:33
92F：→ yytseng: 一年前ChatGPT有幾個人知道啊，這種就剛好要130GB記憶體 07/04 12:34
93F：推 johnpisces2: pytorch可以運行的話，其實跨出一大步了 07/04 12:34
94F：→ yytseng: 對啊，open source 社群有在動了就是有用，我也裝來玩玩 07/04 12:35
95F：→ yytseng: 如果遇到記憶體瓶頸，我應該會買Mac Studio而不是搞4090 07/04 12:36
96F：→ yytseng: 之前問過報價組4090單顯卡就要15萬左右，又吵又熱 07/04 12:37
97F：推 yytseng: NV A6000湊到192GB 某家組好報價107萬，這我玩票的買不起 07/04 12:41
98F：→ yytseng: 一直拿工作站來比，不知道是在講啥，開AI服務公司的嗎... 07/04 12:44
99F：→ iincho: 這個就是土砲的野路子 07/04 13:39
100F：→ iincho: 就剛好蘋果統一記憶體做這個合適 07/04 13:40
101F：→ iincho: 算是窮人方案吧，當然和正規不能比 07/04 13:41
102F：→ iincho: 但是噴的人好歹先看看價錢啊 07/04 13:42
103F：推 xoy: 就AI不只是GPT，而GPT看規模學生用一般顯卡就可以學了，也聽 07/04 15:21
104F：→ xoy: 說有model大到沒有單張顯卡塞得下，也有人做CPU+GPU+SSD而不 07/04 15:21
105F：→ xoy: 是只用GPU。玩票的自然不會花上百萬買來只是玩玩，一般人也 07/04 15:21
106F：→ xoy: 不容易掏出十幾二十萬只為了跑GPT 07/04 15:21
107F：推 xoy: 當初M1有Pro跟Max開發社群玩AI的早就摩拳擦掌在玩了 07/04 16:44
109F：→ xoy: 最近另一個熱門話題AI自動繪圖像Stable Diffusion也有Apple 07/04 16:50
110F：→ xoy: Silicon版，效能還是比不上x86+NVIDIA。不過蘋果在開發者平 07/04 16:50
111F：→ xoy: 台還是一直投入AI資源，沒有廠商會缺席，只是蘋果的架構未來 07/04 16:50
112F：→ xoy: 能翻轉多少現況就再看看了，我是很想梭一台Studio來算圖啦， 07/04 16:50
113F：→ xoy: 慢點是還好起碼比較不吵 07/04 16:50
114F：推 cgjosephlee: 也不是全部ram都可以當vram用，64G機器mps只能用48G 07/04 17:03
116F：推 CGary: 其實我還蠻喜歡m系列的架構的 未來越來越成熟 他一體化gpu 07/04 17:42
117F：→ CGary: 的優點的確是存在的 但是此時此刻 他還不成熟 但他對於大模 07/04 17:43
118F：→ CGary: 型也真的有一定的用途 只是你是看到他一開始說吊打NV而心動 07/04 17:44
119F：→ CGary: 跳進去 那一定會後悔就是了 他至少在這代 還離真的成熟很遠 07/04 17:45
120F：→ woodman: 這個價位標配1TSSD沒關係，蘋果本來就這種尿性，但都買 07/04 21:24
121F：→ woodman: 到Mac pro我居然沒辦法自行升級SSD？又是該死的slicon把S 07/04 21:24
122F：→ woodman: SD跟CPU黏在ㄧ起。 07/04 21:24
123F：→ tyf99: Mac Pro 2023 應該能插 PCIe SSD， 07/04 21:52
124F：→ tyf99: 不然它大可直說不能用，就像顯卡那樣 07/04 21:52
125F：→ concord: 可以裝 SSD ，不過要注意插槽共用頻寬的問題 07/04 22:06
126F：→ exojin: 2019 Mac pro有標配兩個M.2槽可以插SSD。2023年的Mac pro 07/04 22:36
127F：→ exojin: 走pci插槽有可能也認不到SSD,畢竟顯卡、記憶體、SSD都跟CP 07/04 22:36
128F：→ exojin: U綁在一起了。 07/04 22:36
129F：→ NoneWolf: 這影片到處都有人在宣傳 感覺有鬼 07/05 10:55
130F：噓 VictorZ: 中國幹片還是少看 07/05 12:37
131F：推 JaveXP: 因為中國人買不了H100，當然只能吹M2 07/05 15:34
132F：→ concord: 2023 Mac Pro 可以裝 PCIe SSD ， Highpoint 的產品已經 07/05 16:45
133F：→ concord: 聲明可以用了，目前只是不清楚相容性是否會有特殊問題 07/05 16:46
134F：→ Andosinjo: 口音我不行，噁心 07/07 01:03
135F：推 Pelassy: 其實對於模型訓練來說，VRAM遠比算力重要，沒有batch s 07/08 17:00
136F：→ Pelassy: ize沒有收斂。 07/08 17:00
137F：推 jhjhs33504: 推文連結好重要~蘋果的品質應該是確保滿載也不降速吧? 07/12 14:05