Stock 板


LINE

近期mac的模型也算有突破 自从mtplx (MTP技术移植到MAC)出来後 本机跑 m4_max_36g Qwen 3.6 35BA3B_6 bit(30g)_ prefill :860, TG:90~100 token m5_pro_64g Qwen 3.6 35BA3B_6 bit(30g)_ prefill :400~500, TG:80~90 token Qweb 3.8 27b_8bit prefill : 150 ,TG:25~30 token 整个几乎到可以干活的阶段,实际测试了一周也没什麽大问题 装了harness做tool calling,对财务报表准度也非常够 一台m5 max 轻度大概3~5人小型办公室使用没什麽问题 打NV 80系列以下是ok的,对5080,5090的优势大概就是容易养吧 5090需要一堆环境设备支持,小办公室可能做不到 ※ 引述《ripple0129 (perry)》之铭言: : 我倒觉得Apple是有钱的个人玩家才是大宗 : 企业应对需求RTX pro 6000才是正解 : Mac Studio最大最大的优势是 : 安静与省电 : 除非有人想在家里搞个热烘烘 : 风扇声大的要死的机器 : 企业来说推论速度要够快 : 甚至是可以应付多人推论使用 : 以Mac的速度处理不来 : 企业需求是重复性且量大不出错的需求 : 譬如大量读取PDF文件 : 大量读取图片影片 : 消化速度远低於业务进来速度 : 这就达不到企业要的效果 : 而加上资安或法规问题 : 更是没办法使用云端API的状况 : 本地高速推论对企业来说就是硬需求 : Mac的速度远远无法支撑 : ※ 引述《seemoon2000 (no cash)》之铭言: : : 标的:(AAPL) : : 分类:多 (请选择并删除无关分类) : : 分析/正文: : : 苹果今天公布了M5 Ultra和M6 : : M5 Ultra试点了一下 : : M5 Ultra+256gb ram+8TB硬碟 50.8万台币 : : 乍看之下这价格好像不便宜 : : 有在玩本地LLM的都会知道 : : 现在瓶颈是记忆体频宽,显卡算力在本地端很多是过剩的 : : 我比较一下现在主流的产品 : : 记忆体频宽: : : Apple M5 Ultra(完整的一台Mac电脑) : : 售价50万 统一记忆体256GB:1200GB/s : : RTX 5090 : : 市价17万 Vram32GB:1792GB/s : : RTX PRO 6000:(纯显卡) : : 市价57万 Vram96GB:1792GB/s : : RTX5080:纯显卡) : : 市价5.2万 Vram16GB:960GB/s : : RTX5070ti:纯显卡) : : 市价4.9万 Vram16GB:896GB/s : : NVIDIA DGX:(完整的一台Linux电脑) : : 市价15~20万 统一记忆体128GB:273GB/s : : AMD Ryzen AI Max+ 395:(完整的一台Win/Linux电脑) : : 市价9万 统一记忆体128GB:256GB/s : : 这阵子显卡和DGX涨价,除了记忆体价格上涨,我个人观点 : : 主要也有一部分小型企业有开始买多卡布署较低成本的方案 : : 但这波上面所有价位段的竞品,"没有一个"能跟M5 Ultra比较,唯一稍微能比的只有RT : X : : PRO 6000,记忆体频宽更高,但96GBVram也输M5 Ultra的256/512GB,而且M5是整台电 : 脑 : : ,卖得还比纯显卡PRO 6000便宜 : : 至於这阵子买到溢价DGX,基本上现在可以安慰自己说 : : 生图生影片用Cuda跑很快,很开心 : : M5 Ultra这个方案,应该会有不少中型企业开始采用 : : 因为可以直接安装Deepseek v4 flash或Qwen 3.8 27b,复杂高级任务在调再API模型 : : 这些T2等级的本地模型,对要自己部属的企业,实用性远比Kimi K3高多了 : : M5 Ultra加上Deepseek v4 flash和Qwen 3.8 27b就是现在完全破坏中型2B市场的组合 : 。 : : NV老黄现在不可能贸然放生DGX和RTX Pro用户 : : 等於在中型企业端的市场会变成无法竞争 : : NV应该会开始努力把产品卖给模型公司。 : : 进退场机制: : : 进场时机 最低305左右 退场时机 NV想出解方後 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.167.59 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1787726154.A.5AA.html ※ 编辑: a655088 (101.10.167.59 台湾), 08/26/2026 14:37:24
1F:→ latw : 你看那个精美的prefill想让agent做事?? 嫌时间太多? 08/26 14:45
2F:推 TameFoxx : 很认真的文 但这边很少人看得懂 08/26 14:46
3F:→ a655088 : 大概3060 12g的等级 也算够了啦 08/26 14:46
4F:→ TameFoxx : 大家普遍观念就是ram大就是好 08/26 14:46
5F:→ TameFoxx : 他这prefill 是毫秒吧 08/26 14:47
6F:→ TameFoxx : 但也没说input长度多少就是了 08/26 14:47
7F:→ a655088 : 12k内 就是小型企业,个人研究好用 08/26 14:49
8F:→ a655088 : 大公司还是要乖乖缴NV税 08/26 14:49
9F:→ latw : openclaw或是hermes开场20k就不见了, 我以为128k是 08/26 14:51
10F:→ latw : 下限 08/26 14:51
11F:推 TameFoxx : 12K这数字也很不错了 08/26 14:53
12F:→ TameFoxx : 不过我自己是觉得用云端还是划算啦 08/26 14:53
13F:→ TameFoxx : 小公司用订阅的更划算... 08/26 14:54
14F:→ NexusPrime : 等实物出来再比看看? 这是M5 Ultra应该比你的pro 08/26 14:57
15F:→ NexusPrime : 强很多 08/26 14:57
16F:→ latw : 不过还是希望新MAC给点力,不然pro 6000价格太嚣张 08/26 14:58
17F:→ NexusPrime : 专业术语直接查线上AI就知道了,现在没什麽好不懂 08/26 14:58
18F:→ NexusPrime : 的,有没有耐心查而已 08/26 14:58
19F:推 SilverRH : 除了搞黄色以外一般公司还是乖乖烧API实在 08/26 15:13
20F:推 xzcb2008 : 其实关键是大家都想跑27b那个吧 moe幻觉要一直想办 08/26 15:16
21F:→ xzcb2008 : 法客服很烦 08/26 15:16
22F:→ xzcb2008 : mptlx跟omlx不知道那个快 08/26 15:17
23F:→ a655088 : MPTLX快很多 08/26 15:18
24F:→ a655088 : 地端coding比较弱,但是查资料很不错ㄌ 08/26 15:18
25F:推 xzcb2008 : https://i.verb.tw/OcKXUxSc.jpg 08/26 15:26
26F:→ xzcb2008 : 推你上面第一个模型 也很不错 08/26 15:26
27F:推 xzcb2008 : 找机会试试看 你说的mtplx 08/26 15:30
28F:推 kimula01 : 现在也有很多情色AI短片又不用钱 应该是另一条路 08/26 15:40
※ 编辑: a655088 (101.10.167.59 台湾), 08/26/2026 15:54:03
29F:推 strlen : 会跟你一样花个几十万东搞西搞本地LLM的中小凤毛麟 08/26 15:58
30F:→ strlen : 角 这块是九牛一毛 企业要的是打开就能运作的 08/26 15:58
31F:→ strlen : 哪天看谁出一个整套的连模型都帮你装好的 中小才会 08/26 15:58
32F:→ strlen : 考虑吧 08/26 15:59
33F:推 ru04hj4 : 很多人只会说贵贵 孰不知其他方案也没更便宜更方便 08/26 16:37
34F:→ seemoon2000 : 这方案超级便宜 有在小公司或工作室自用的就知道 08/26 16:49
35F:→ seemoon2000 : 我原文也有说中型以下企业 当然上百人以上的不适用 08/26 16:51
36F:推 seemoon2000 : 现在老黄敢把显卡卖到那麽贵 就是他认为有需求 游 08/26 16:56
37F:→ seemoon2000 : 戏没需求是真的 但买来推论他就觉得是有需求的 08/26 16:56
38F:→ strlen : 老黄卡贵又不是因为AI 以前没AI一样那麽贵..... 08/26 17:47







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Gossiping站内搜寻

TOP