作者chanjungwu (chanjung)
看板VideoCard
標題[請益] 買Nvdia 50系列顯卡跑大模型?
時間Mon Jan 27 22:11:42 2025
近期想更換顯卡(僅考慮，非必要)，
近期AI越來越強大，
時常我會用到deepseek或其他ai來寫寫程式，
想說未來可能如果自己有一個AI在家裡跑，
若考慮到耗電量
翻譯或是寫程式不曉得會不會划算？
也不曉得跑不跑得動(沒這方面經驗)
可能偶而用於生成圖片報告或ppt等，
想請教這邊是否有大大有經驗，
考慮入手50系列最低階的試試看，跑得動嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.206.240 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/VideoCard/M.1737987104.A.E99.html
1F：→ spfy: 跑不動 不用想太多 01/27 22:59
2F：→ foodre: 能跑得動的狀置，普通家用插頭都供不了電。 01/28 13:02
3F：→ shihkai: 要自己訓練模型就別想了，現在終端能跑的都是拿別人訓練 01/28 17:01
4F：→ shihkai: 好的模型來做推論 01/28 17:01
5F：→ boringuy: 他只是想跑模型吧,誰會想自己訓練模型 01/28 22:34
6F：→ boringuy: 去安裝ollama後自己跑模型試試就知道了 01/28 22:35
7F：→ boringuy: 我的感覺還是花點錢線上跑比較實際 01/28 22:37
8F：→ Dcpp2015: 跑AI那就是5090了。 01/29 02:49
9F：推 yocpswang: 不用想，已經買不到了 01/29 14:05
10F：推 bioleon: 只能買3090 4090 5090 01/29 15:53
11F：推 lordmi: 目前用3060 12G跑語言小模型，能用。不過未來模型應該是 01/29 19:10
12F：→ lordmi: 最低16起跳 01/29 19:10
13F：→ fuyofuyo: 除非要做規定外功能，寫程式訂閱比較實在 01/30 09:25
15F：→ cp296633: 4070跑14b(q4_K_M)模型大小9GB 顯存占用也差不多8.9GB 01/30 17:18
16F：→ cp296633: 獨顯VRAM>6G都能先跑來玩看看啊 ..扣掉下載模型檔案時間 01/30 17:20
17F：→ cp296633: RUN起來不用5分鐘.. 01/30 17:21
18F：→ cp296633: 教學水管零度有 01/30 17:22
19F：推 likeapig: 為什麼不是ChatGPT? 01/31 13:46
20F：推 jhjhs33504: 你想到的 老黃都想過了 等機器人的大腦出貨就知道了 02/01 20:26
21F：推 WhitePope: 個人跑的模型頂多十億資料等級 02/04 15:10
22F：→ WhitePope: 與完整模型數千億級的相差甚遠 02/04 15:11
23F：→ WhitePope: 玩玩可以，不用抱太大期待 02/04 15:12
24F：→ WhitePope: 連翻譯都翻得文不對題 02/04 15:13
25F：→ csgod1325: 會跑模型可以直接買張H100來玩架伺服器 02/05 13:35
26F：推 arrenwu: 我覺得你不妨等到你真的有需求的時候在想這件事情？ 02/06 12:51
27F：→ gainsborough: 感想就是普通人買個M4 mini PRO 64G，雖然慢，但起 02/13 18:20
28F：→ gainsborough: 碼價格負擔的起，閹割版模型也能跑比較大的，不然 02/13 18:21
29F：→ gainsborough: 你就算買張5090(如果能買到的話)，32G還是很不夠用 02/13 18:22
30F：→ gainsborough: 我自己跑14b的deepseek實在很難用 02/13 18:22
31F：推 doom3: 等老黃的Project Digits 02/24 00:33
32F：推 roea68roea68: 14b基本是智障 用網頁或api吧 本地對我來說最大用處 02/27 09:27
33F：→ roea68roea68: 是sakuraLLM+LunaTranslator即時翻譯黃油 02/27 09:27
34F：→ a779471530: 要跑AI 就是要VRAM 跟CUDE 最大為主 只有90系列 03/09 23:34
35F：→ a779471530: 目前最香的是 4090 又省電 03/09 23:35
36F：→ a779471530: 畢竟5090價格已經炒到 15-20萬 03/09 23:35
37F：→ a779471530: 8萬內買到4090 都是賺 可以夠你戰很久的遊戲跟AI 03/09 23:36
38F：推 youtrue: 別鬧了 還是訂閱線上完全體吧 03/10 13:57
39F：推 shokotan: Intel A770可以多張跑大模型 03/31 22:38
40F：推 saimeitetsu: 線上模型唯一的缺點就NFSW自助餐，只要他認為你有違 10/10 09:17
41F：→ saimeitetsu: 反就擋，幾乎沒有標準，純寫程式的話不如租用線上服 10/10 09:17
42F：→ saimeitetsu: 務就好，claude之類的很好用了 10/10 09:17