MAC 板


LINE

看板 MAC  RSS
https://i.mopix.cc/Fyy4F6.jpg
https://i.mopix.cc/gswJT8.jpg
目前有兩台MAC在考慮,有考慮玩看看本地化AI,在兩台價格差不多的情況下應該考慮基 本款的MAC studio還是記憶體升到48GB的MAC MINI? 先謝謝大家的建議了 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.160.149.2 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/MAC/M.1787739422.A.7DE.html
1F:推 chita0258: 要玩本地AI 除了RAM還要注意記憶體頻寬 08/26 18:24
2F:推 NoneWolf: 本地AI就得堆記憶體 現在模型都玩MoE了 08/26 18:32
3F:→ NoneWolf: 不怕跑不動 只怕笨 08/26 18:32
4F:推 Shigeru777: GPU核心數不是裝飾耶 08/26 19:08
5F:→ ff1268: 記憶體頻寬那肯定是mac studio勝出 但36GB的記憶體是不是 08/26 20:01
6F:→ ff1268: 要跑32B以上的模型就有點吃力了? 目前GPU對於推理有幫助 08/26 20:01
7F:→ ff1268: 嗎? 預算有限就得綁手綁腳啊 08/26 20:01
8F:推 airnoon: 記憶體頻寬對llm還蠻重要的,會直接影響體驗速度,GPU核 08/26 21:40
9F:→ airnoon: 心數也很重要,直接影響算力,散熱也是mac studio 做比 08/26 21:40
10F:→ airnoon: 較好,真的玩本地要從外面連回來還是studio比較穩,另外g 08/26 21:40
11F:→ airnoon: emma 4 26b Q8已經壓到30GB以下了,你可以先去下載lm stu 08/26 21:40
12F:→ airnoon: dio 看一下model跟量化版的大小 08/26 21:40
13F:推 airnoon: 我覺得很好奇的是,為什麼大家都突然想玩本地了,上一代 08/26 21:42
14F:→ airnoon: 的Mac也都可以玩啊,但是就是沒像今天一樣熱絡xDD 08/26 21:42
15F:推 NTUOnline: 資安吧?? 08/26 21:45
16F:→ NTUOnline: 可能大家不想資料傳到雲上?? 08/26 21:46
17F:→ phost: 是等等黨等到新產品出來了啊 08/26 22:15
18F:推 airnoon: 感覺蘋果官方推波助瀾功不可沒xD 08/27 00:05
19F:推 shortoneal: 我覺得單純是時間,大家用訂閱正好用到一個覺得會被搞 08/27 00:29
20F:→ shortoneal: 的階段,所以想搞AI自主吧,而且壓到十萬能跑2、30B, 08/27 00:30
21F:→ shortoneal: 品質應該已經過了一個低標,十萬也是小玩家負擔的起的 08/27 00:30
22F:→ shortoneal: 另外就是這種規格會跑進來討論的應該都是圖這個吧... 08/27 00:31
23F:→ shortoneal: 對一般使用、開發都溢出很多了.. 08/27 00:31
24F:→ hidexjapan: 我今天才讓Codex作個30個工作的職缺適配度分析、評分 08/27 01:19
25F:→ hidexjapan: 然後加入對應每個職缺的工作經歷,五小時限額用完, 08/27 01:19
26F:→ hidexjapan: 本週限額用完85% 08/27 01:19
27F:推 NTUOnline: 難怪大家最近越來越愛本地AI 08/27 10:43
28F:→ NTUOnline: 花個十萬, 就不用被限制額度或token 08/27 10:43
29F:推 oh753951: 我覺得是訂閱制的ai都有用量限制,寧願讓本地ai跑久一 08/28 08:47
30F:→ oh753951: 點達成任務,也不要跑到一半要等下週額度重置XD, 08/28 08:47
31F:推 napyang: 跑LLM記憶體是最重要的,GPU是讓你速度變快,但是RAM決定 08/28 10:25
32F:→ napyang: 你能不能用。這兩台我認為48GB mac mini才是好選擇。不然 08/28 10:25
33F:→ napyang: 36GB的 Qwen3.8-27B-4bit的context length大概只能開到10 08/28 10:25
34F:→ napyang: 0K,遠低於模型能力的262K。 08/28 10:25
35F:推 stlinman: 跑AI堆記憶就是了! 不只模型本身、上下文也吃記憶體,上 08/29 14:02
36F:→ stlinman: 下文不給夠生產力會打折。 08/29 14:02
37F:→ MOONY135: ....本地也沒有多強 Gemma 31b掛agent沒有聰明多少 08/29 15:42
38F:→ crimsonmoon9: 那是因為gemma本來就跟笨蛋一樣 08/29 16:26
39F:→ crimsonmoon9: 36GB放不下27B嗎?KV沒quant? 08/29 16:29
40F:→ airnoon: gemma不用指望coding,但不代表他是笨蛋吧 08/29 17:38
41F:→ airnoon: 本地強弱也要看幾B模型吧,31B跟70B比還是有差距吧,不過 08/29 17:45
42F:→ airnoon: 70B的Q4模型大概也要64GB RAM才塞的進去 08/29 17:45
43F:推 phoenixlife: 兩台跑本地模型都不太夠,至少64g 08/29 21:46
44F:→ phoenixlife: 要玩這至少預算要10萬以上 08/29 21:47
45F:推 phoenixlife: 參數太少的模型乾脆用租的 08/29 21:52
46F:推 headnobig: 只能這兩台的話選48g的 09/01 13:42







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:BabyMother站內搜尋

TOP