作者chanjungwu (chanjung)
看板VideoCard
标题[请益] 买Nvdia 50系列显卡跑大模型?
时间Mon Jan 27 22:11:42 2025
近期想更换显卡(仅考虑，非必要)，
近期AI越来越强大，
时常我会用到deepseek或其他ai来写写程式，
想说未来可能如果自己有一个AI在家里跑，
若考虑到耗电量
翻译或是写程式不晓得会不会划算？
也不晓得跑不跑得动(没这方面经验)
可能偶而用於生成图片报告或ppt等，
想请教这边是否有大大有经验，
考虑入手50系列最低阶的试试看，跑得动吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.135.206.240 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/VideoCard/M.1737987104.A.E99.html
1F：→ spfy: 跑不动 不用想太多 01/27 22:59
2F：→ foodre: 能跑得动的状置，普通家用插头都供不了电。 01/28 13:02
3F：→ shihkai: 要自己训练模型就别想了，现在终端能跑的都是拿别人训练 01/28 17:01
4F：→ shihkai: 好的模型来做推论 01/28 17:01
5F：→ boringuy: 他只是想跑模型吧,谁会想自己训练模型 01/28 22:34
6F：→ boringuy: 去安装ollama後自己跑模型试试就知道了 01/28 22:35
7F：→ boringuy: 我的感觉还是花点钱线上跑比较实际 01/28 22:37
8F：→ Dcpp2015: 跑AI那就是5090了。 01/29 02:49
9F：推 yocpswang: 不用想，已经买不到了 01/29 14:05
10F：推 bioleon: 只能买3090 4090 5090 01/29 15:53
11F：推 lordmi: 目前用3060 12G跑语言小模型，能用。不过未来模型应该是 01/29 19:10
12F：→ lordmi: 最低16起跳 01/29 19:10
13F：→ fuyofuyo: 除非要做规定外功能，写程式订阅比较实在 01/30 09:25
15F：→ cp296633: 4070跑14b(q4_K_M)模型大小9GB 显存占用也差不多8.9GB 01/30 17:18
16F：→ cp296633: 独显VRAM>6G都能先跑来玩看看啊 ..扣掉下载模型档案时间 01/30 17:20
17F：→ cp296633: RUN起来不用5分钟.. 01/30 17:21
18F：→ cp296633: 教学水管零度有 01/30 17:22
19F：推 likeapig: 为什麽不是ChatGPT? 01/31 13:46
20F：推 jhjhs33504: 你想到的 老黄都想过了 等机器人的大脑出货就知道了 02/01 20:26
21F：推 WhitePope: 个人跑的模型顶多十亿资料等级 02/04 15:10
22F：→ WhitePope: 与完整模型数千亿级的相差甚远 02/04 15:11
23F：→ WhitePope: 玩玩可以，不用抱太大期待 02/04 15:12
24F：→ WhitePope: 连翻译都翻得文不对题 02/04 15:13
25F：→ csgod1325: 会跑模型可以直接买张H100来玩架伺服器 02/05 13:35
26F：推 arrenwu: 我觉得你不妨等到你真的有需求的时候在想这件事情？ 02/06 12:51
27F：→ gainsborough: 感想就是普通人买个M4 mini PRO 64G，虽然慢，但起 02/13 18:20
28F：→ gainsborough: 码价格负担的起，阉割版模型也能跑比较大的，不然 02/13 18:21
29F：→ gainsborough: 你就算买张5090(如果能买到的话)，32G还是很不够用 02/13 18:22
30F：→ gainsborough: 我自己跑14b的deepseek实在很难用 02/13 18:22
31F：推 doom3: 等老黄的Project Digits 02/24 00:33
32F：推 roea68roea68: 14b基本是智障 用网页或api吧 本地对我来说最大用处 02/27 09:27
33F：→ roea68roea68: 是sakuraLLM+LunaTranslator即时翻译黄油 02/27 09:27
34F：→ a779471530: 要跑AI 就是要VRAM 跟CUDE 最大为主 只有90系列 03/09 23:34
35F：→ a779471530: 目前最香的是 4090 又省电 03/09 23:35
36F：→ a779471530: 毕竟5090价格已经炒到 15-20万 03/09 23:35
37F：→ a779471530: 8万内买到4090 都是赚 可以够你战很久的游戏跟AI 03/09 23:36
38F：推 youtrue: 别闹了 还是订阅线上完全体吧 03/10 13:57
39F：推 shokotan: Intel A770可以多张跑大模型 03/31 22:38
40F：推 saimeitetsu: 线上模型唯一的缺点就NFSW自助餐，只要他认为你有违 10/10 09:17
41F：→ saimeitetsu: 反就挡，几乎没有标准，纯写程式的话不如租用线上服 10/10 09:17
42F：→ saimeitetsu: 务就好，claude之类的很好用了 10/10 09:17