Stock 板


LINE

近期mac的模型也算有突破 自從mtplx (MTP技術移植到MAC)出來後 本機跑 m4_max_36g Qwen 3.6 35BA3B_6 bit(30g)_ prefill :860, TG:90~100 token m5_pro_64g Qwen 3.6 35BA3B_6 bit(30g)_ prefill :400~500, TG:80~90 token Qweb 3.8 27b_8bit prefill : 150 ,TG:25~30 token 整個幾乎到可以幹活的階段,實際測試了一週也沒什麼大問題 裝了harness做tool calling,對財務報表準度也非常夠 一台m5 max 輕度大概3~5人小型辦公室使用沒什麼問題 打NV 80系列以下是ok的,對5080,5090的優勢大概就是容易養吧 5090需要一堆環境設備支持,小辦公室可能做不到 ※ 引述《ripple0129 (perry)》之銘言: : 我倒覺得Apple是有錢的個人玩家才是大宗 : 企業應對需求RTX pro 6000才是正解 : Mac Studio最大最大的優勢是 : 安靜與省電 : 除非有人想在家裡搞個熱烘烘 : 風扇聲大的要死的機器 : 企業來說推論速度要夠快 : 甚至是可以應付多人推論使用 : 以Mac的速度處理不來 : 企業需求是重複性且量大不出錯的需求 : 譬如大量讀取PDF文件 : 大量讀取圖片影片 : 消化速度遠低於業務進來速度 : 這就達不到企業要的效果 : 而加上資安或法規問題 : 更是沒辦法使用雲端API的狀況 : 本地高速推論對企業來說就是硬需求 : Mac的速度遠遠無法支撐 : ※ 引述《seemoon2000 (no cash)》之銘言: : : 標的:(AAPL) : : 分類:多 (請選擇並刪除無關分類) : : 分析/正文: : : 蘋果今天公布了M5 Ultra和M6 : : M5 Ultra試點了一下 : : M5 Ultra+256gb ram+8TB硬碟 50.8萬台幣 : : 乍看之下這價格好像不便宜 : : 有在玩本地LLM的都會知道 : : 現在瓶頸是記憶體頻寬,顯卡算力在本地端很多是過剩的 : : 我比較一下現在主流的產品 : : 記憶體頻寬: : : Apple M5 Ultra(完整的一台Mac電腦) : : 售價50萬 統一記憶體256GB:1200GB/s : : RTX 5090 : : 市價17萬 Vram32GB:1792GB/s : : RTX PRO 6000:(純顯卡) : : 市價57萬 Vram96GB:1792GB/s : : RTX5080:純顯卡) : : 市價5.2萬 Vram16GB:960GB/s : : RTX5070ti:純顯卡) : : 市價4.9萬 Vram16GB:896GB/s : : NVIDIA DGX:(完整的一台Linux電腦) : : 市價15~20萬 統一記憶體128GB:273GB/s : : AMD Ryzen AI Max+ 395:(完整的一台Win/Linux電腦) : : 市價9萬 統一記憶體128GB:256GB/s : : 這陣子顯卡和DGX漲價,除了記憶體價格上漲,我個人觀點 : : 主要也有一部分小型企業有開始買多卡佈署較低成本的方案 : : 但這波上面所有價位段的競品,"沒有一個"能跟M5 Ultra比較,唯一稍微能比的只有RT : X : : PRO 6000,記憶體頻寬更高,但96GBVram也輸M5 Ultra的256/512GB,而且M5是整台電 : 腦 : : ,賣得還比純顯卡PRO 6000便宜 : : 至於這陣子買到溢價DGX,基本上現在可以安慰自己說 : : 生圖生影片用Cuda跑很快,很開心 : : M5 Ultra這個方案,應該會有不少中型企業開始採用 : : 因為可以直接安裝Deepseek v4 flash或Qwen 3.8 27b,複雜高級任務在調再API模型 : : 這些T2等級的本地模型,對要自己部屬的企業,實用性遠比Kimi K3高多了 : : M5 Ultra加上Deepseek v4 flash和Qwen 3.8 27b就是現在完全破壞中型2B市場的組合 : 。 : : NV老黃現在不可能貿然放生DGX和RTX Pro用戶 : : 等於在中型企業端的市場會變成無法競爭 : : NV應該會開始努力把產品賣給模型公司。 : : 進退場機制: : : 進場時機 最低305左右 退場時機 NV想出解方後 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.167.59 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1787726154.A.5AA.html ※ 編輯: a655088 (101.10.167.59 臺灣), 08/26/2026 14:37:24
1F:→ latw : 你看那個精美的prefill想讓agent做事?? 嫌時間太多? 08/26 14:45
2F:推 TameFoxx : 很認真的文 但這邊很少人看得懂 08/26 14:46
3F:→ a655088 : 大概3060 12g的等級 也算夠了啦 08/26 14:46
4F:→ TameFoxx : 大家普遍觀念就是ram大就是好 08/26 14:46
5F:→ TameFoxx : 他這prefill 是毫秒吧 08/26 14:47
6F:→ TameFoxx : 但也沒說input長度多少就是了 08/26 14:47
7F:→ a655088 : 12k內 就是小型企業,個人研究好用 08/26 14:49
8F:→ a655088 : 大公司還是要乖乖繳NV稅 08/26 14:49
9F:→ latw : openclaw或是hermes開場20k就不見了, 我以為128k是 08/26 14:51
10F:→ latw : 下限 08/26 14:51
11F:推 TameFoxx : 12K這數字也很不錯了 08/26 14:53
12F:→ TameFoxx : 不過我自己是覺得用雲端還是划算啦 08/26 14:53
13F:→ TameFoxx : 小公司用訂閱的更划算... 08/26 14:54
14F:→ NexusPrime : 等實物出來再比看看? 這是M5 Ultra應該比你的pro 08/26 14:57
15F:→ NexusPrime : 強很多 08/26 14:57
16F:→ latw : 不過還是希望新MAC給點力,不然pro 6000價格太囂張 08/26 14:58
17F:→ NexusPrime : 專業術語直接查線上AI就知道了,現在沒什麼好不懂 08/26 14:58
18F:→ NexusPrime : 的,有沒有耐心查而已 08/26 14:58
19F:推 SilverRH : 除了搞黃色以外一般公司還是乖乖燒API實在 08/26 15:13
20F:推 xzcb2008 : 其實關鍵是大家都想跑27b那個吧 moe幻覺要一直想辦 08/26 15:16
21F:→ xzcb2008 : 法客服很煩 08/26 15:16
22F:→ xzcb2008 : mptlx跟omlx不知道那個快 08/26 15:17
23F:→ a655088 : MPTLX快很多 08/26 15:18
24F:→ a655088 : 地端coding比較弱,但是查資料很不錯ㄌ 08/26 15:18
25F:推 xzcb2008 : https://i.verb.tw/OcKXUxSc.jpg 08/26 15:26
26F:→ xzcb2008 : 推你上面第一個模型 也很不錯 08/26 15:26
27F:推 xzcb2008 : 找機會試試看 你說的mtplx 08/26 15:30
28F:推 kimula01 : 現在也有很多情色AI短片又不用錢 應該是另一條路 08/26 15:40
※ 編輯: a655088 (101.10.167.59 臺灣), 08/26/2026 15:54:03
29F:推 strlen : 會跟你一樣花個幾十萬東搞西搞本地LLM的中小鳳毛麟 08/26 15:58
30F:→ strlen : 角 這塊是九牛一毛 企業要的是打開就能運作的 08/26 15:58
31F:→ strlen : 哪天看誰出一個整套的連模型都幫你裝好的 中小才會 08/26 15:58
32F:→ strlen : 考慮吧 08/26 15:59
33F:推 ru04hj4 : 很多人只會說貴貴 孰不知其他方案也沒更便宜更方便 08/26 16:37
34F:→ seemoon2000 : 這方案超級便宜 有在小公司或工作室自用的就知道 08/26 16:49
35F:→ seemoon2000 : 我原文也有說中型以下企業 當然上百人以上的不適用 08/26 16:51
36F:推 seemoon2000 : 現在老黃敢把顯卡賣到那麼貴 就是他認為有需求 遊 08/26 16:56
37F:→ seemoon2000 : 戲沒需求是真的 但買來推論他就覺得是有需求的 08/26 16:56
38F:→ strlen : 老黃卡貴又不是因為AI 以前沒AI一樣那麼貴..... 08/26 17:47







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Boy-Girl站內搜尋

TOP