作者ZMTL (Zaious.)
看板PC_Shopping
标题[闲聊] 投入生成式AI/GPT的显卡选购建议
时间Fri Apr 21 12:14:47 2023
看了板上的一些AI组机文，实在有点话想拿出来聊聊。
比较常提到的绘图大家应该都知道，现在建议就是3060 12G，VRAM称王，
其他选择就是4070(Ti) 12G / 3090 24G / 4090 24G，4080 16G CP值太差...之类。
不过我真的强烈建议还弄的到二手3090就去弄、预算有个80K拿4090比较不会後悔。
为什麽呢？
不知道板上关注生成式语言模型(ex:ChatGPT)的人多不多，
GPT现在没有开源，使用文字生成来做应用(串API)是逐字计费，
所以目前有一些仿GPT、甚至借助GPT训练的开源语言模型正在发展中。
参考这几天很红的
GPT-4识图功能不开放，MiniGPT-4抢先开放试用！OpenAI有的它都有
https://www.techbang.com/posts/105663
"并且团队正在准备一个更羽量级的版本，部署起来只需要23GB的VRAM。 也就是消费级显
示卡中拥有24GB VRAM的3090或4090就可以在本地端执行了。 "
Stable Diffusion团队刚发布的StableLM
https://github.com/Stability-AI/StableLM/issues/17
以及其他语言模型
https://zhuanlan.zhihu.com/p/615199206
至少在这部分24G VRAM很可能会是标配。
一点浅见，感谢电虾板在我要组跑AI用的电脑时给了很多建议，拿出来分享一下。
也留篇文让人有机会爬。
--
AI_Art AI艺术与创作板 欢迎各方前来讨论AIGC创作与相关议题！
AI情报屋营业中
噗浪：
https://www.plurk.com/Zaious
IG ：
https://www.instagram.com/zaious.design/
日历：
https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.124.87.90 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1682050491.A.FC3.html
※ 编辑: ZMTL (59.124.87.90 台湾), 04/21/2023 12:15:22
1F：推 oopFoo: ARC a770(16GB)入门好选择，越来越多的支援。如果你会玩 04/21 12:20
2F：推 aegis43210: ARC也支援了OpenACC想跑气候分析的也可以玩玩看 04/21 12:24
3F：推 kamir: 哦，我用练好的就好了 04/21 12:42
4F：推 pp520: 的确!你说的没错，VRAM 就跟入场券一样 04/21 12:43
5F：推 KarlJhan: 推 感谢分享 04/21 12:43
6F：→ pp520: stable Diffusion 越做越复杂，後面 8G VRAM 04/21 12:44
7F：→ pp520: 快撑不住了，外挂太多好用的功能 04/21 12:44
8F：推 yenchieh1102: Vram至上! 04/21 12:45
9F：→ pp520: VRAM不足，速度再快也是无用武之地 04/21 12:46
10F：→ pp520: 连打开城市的资格都没有 04/21 12:46
11F：→ pp520: 程式 04/21 12:47
12F：嘘 uemo610: AI绘图=盗图 04/21 13:04
13F：→ bettle1461: 一个大VRAM且相对新卡便宜的选择是 3090 Ti，3090 跑 04/21 13:18
14F：→ bettle1461: diffusion 超烫 04/21 13:18
15F：推 mrme945: 3090Ti量太少了，不然的确是比3090好很多的选择 04/21 13:21
16F：→ oppoR20: 3090是真的烫 可以煮饭的那种 04/21 13:24
17F：→ bettle1461: 不过 4090 真的很强，用3090 Ti 70% 的功耗还加速 1.6 04/21 13:31
18F：→ bettle1461: 倍以上，本人亲测，根本北极熊救星 04/21 13:31
19F：→ Sartanis: 学对岸魔改2080Ti 22GB好了XD 04/21 13:37
20F：推 odanaga: vram大 就是王 04/21 13:38
21F：推 et1783: 还可以研究看看webllm，为A卡打开一扇窗 04/21 13:57
22F：→ soulgem: 23G VRAM... 好吧, 对於 GPU 程式好像没有 12+12 当 24.. 04/21 14:29
23F：→ soulgem: 其实不喜欢模型越搞越大变成计算军备竞赛的趋势... 04/21 14:33
24F：→ soulgem: (还是会用绘图卡, 虽然慢, 但是可以在相对价格搞到 VRAM) 04/21 14:34
25F：→ ZMTL: 能放到家用电脑跑的，目前已经都是「缩小」的模型了(文字部 04/21 14:56
26F：→ ZMTL: 份啦 04/21 14:56
27F：→ soulgem: 24G VRAM 绘图卡就对不到价了, 这就没办法 XD 04/21 15:04
28F：→ vsbrm: 跑stable diffusion ,so-vits-svc 这些，选4090还是很有优 04/21 15:19
29F：→ vsbrm: 势，如果只是玩看看，8G VRAM的显卡慢慢跑就好了，不用特地 04/21 15:19
30F：→ vsbrm: 去换 04/21 15:19
31F：推 creepy: HF也有GPT-2的模型 预训练好的model应该都不用太多vram 04/21 15:23
32F：推 ms0317929: 3090到底跑起来要不要去改散热那种东西啊？ 04/21 15:28
33F：推 creepy: 没有持续一直跑 限缩瓦数上限 可以不用 04/21 15:29
34F：推 ZEYU: A卡是不是完全不用考虑阿 04/21 15:46
35F：推 Aeryzephyr: 4090只怕线烧毁... 04/21 16:13
36F：→ Aeryzephyr: 目前我还是用2070s的8g在算图，8g是一个底限 04/21 16:15
37F：→ Aeryzephyr: 实际玩起来还行，只是放大不方便用内建的高解析修正.. 04/21 16:16
38F：→ Aeryzephyr: 只是算图实在觉得慢，过阵子还是会购入4090 04/21 16:19
39F：推 yenchieh1102: 4，现在AI都基於N卡在发展，要玩就是N家最好用 04/21 16:27
40F：推 tsubasawolfy: 目前都在N卡上发展，不过微软前几天丢出新闻说他们 04/21 17:12
41F：→ tsubasawolfy: 有打算自制AI专用晶片去应付更大的需求。Project A 04/21 17:12
42F：→ tsubasawolfy: thena 从2019开始应该要端出什麽东西来了 04/21 17:12
43F：→ trywish: A卡能跑AI，我跳的时候，要训练lora还做不到。至於速度？ 04/21 18:37
44F：→ trywish: rx5700也不算慢了，但因为vram不足，所以压低效能就慢到 04/21 18:38
45F：→ trywish: 哭。真的要玩的确N卡比较好，但A卡还是可以玩，只是真的 04/21 18:38
46F：→ trywish: vram要12G以上。lora现在那麽容易抓，其实也没必要自己去 04/21 18:39
47F：→ trywish: 练。主玩游戏，偶尔跑AI，A卡就够了。两者并重，N卡较佳 04/21 18:40
48F：→ trywish: 想跑训练，vram 24G比较好。 04/21 18:40
49F：→ trywish: 另外预算也不用80k，4090才56K，折价下来都剩51左右，挂 04/21 18:44
50F：→ trywish: 个power 3~5K。CPU在玩游戏才会出现瓶颈。单论跑AI还好。 04/21 18:45
51F：→ trywish: 所以大概55K~60K就能搞定。 04/21 18:46
52F：推 jaspergod: webllm有没有中文不错的...之前测一个opt-13b感觉还不 04/21 22:20
53F：→ jaspergod: 太能用... 搞半天玩没几下就关了XD 感觉还有段路要走 04/21 22:20
54F：推 jeffguoft: 前阵子也直上3090了，玩AI 12G绝对不够用 04/22 00:44
55F：→ ZMTL: 听说，听说，Colab要开始限制跑SD又没付钱买pro的了 04/22 01:03
56F：→ ZMTL: Reddit上正在讨论 04/22 01:03
57F：推 suitup: 一楼马上两个跑出来推770是怎样 04/22 11:33
58F：推 ronald279: 推 04/22 11:48
59F：→ ronald279: a770跟a卡没办法吧 好狠 04/22 11:49
60F：推 Aeryzephyr: 千万不要买N卡以外的显卡，除非你非常想除错练经验值 04/22 12:20
61F：→ soulgem: stablelm 可以 12+16 > 24... 感恩, torch 基础可能可以. 04/22 16:42
62F：→ soulgem: 语言模型+torch 基础的感觉高机率可以两三张抵一张... 04/22 16:52
※ ZMTL:转录至看板 AI_Art 04/30 21:21