作者ZMTL (Zaious.)
看板PC_Shopping
標題[閒聊] 投入生成式AI/GPT的顯卡選購建議
時間Fri Apr 21 12:14:47 2023
看了板上的一些AI組機文，實在有點話想拿出來聊聊。
比較常提到的繪圖大家應該都知道，現在建議就是3060 12G，VRAM稱王，
其他選擇就是4070(Ti) 12G / 3090 24G / 4090 24G，4080 16G CP值太差...之類。
不過我真的強烈建議還弄的到二手3090就去弄、預算有個80K拿4090比較不會後悔。
為什麼呢？
不知道板上關注生成式語言模型(ex:ChatGPT)的人多不多，
GPT現在沒有開源，使用文字生成來做應用(串API)是逐字計費，
所以目前有一些仿GPT、甚至借助GPT訓練的開源語言模型正在發展中。
參考這幾天很紅的
GPT-4識圖功能不開放，MiniGPT-4搶先開放試用！OpenAI有的它都有
https://www.techbang.com/posts/105663
"並且團隊正在準備一個更羽量級的版本，部署起來只需要23GB的VRAM。 也就是消費級顯
示卡中擁有24GB VRAM的3090或4090就可以在本地端執行了。 "
Stable Diffusion團隊剛發布的StableLM
https://github.com/Stability-AI/StableLM/issues/17
以及其他語言模型
https://zhuanlan.zhihu.com/p/615199206
至少在這部分24G VRAM很可能會是標配。
一點淺見，感謝電蝦板在我要組跑AI用的電腦時給了很多建議，拿出來分享一下。
也留篇文讓人有機會爬。
--
AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題！
AI情報屋營業中
噗浪：
https://www.plurk.com/Zaious
IG ：
https://www.instagram.com/zaious.design/
日曆：
https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1682050491.A.FC3.html
※ 編輯: ZMTL (59.124.87.90 臺灣), 04/21/2023 12:15:22
1F：推 oopFoo: ARC a770(16GB)入門好選擇，越來越多的支援。如果你會玩 04/21 12:20
2F：推 aegis43210: ARC也支援了OpenACC想跑氣候分析的也可以玩玩看 04/21 12:24
3F：推 kamir: 哦，我用練好的就好了 04/21 12:42
4F：推 pp520: 的確!你說的沒錯，VRAM 就跟入場券一樣 04/21 12:43
5F：推 KarlJhan: 推 感謝分享 04/21 12:43
6F：→ pp520: stable Diffusion 越做越複雜，後面 8G VRAM 04/21 12:44
7F：→ pp520: 快撐不住了，外掛太多好用的功能 04/21 12:44
8F：推 yenchieh1102: Vram至上! 04/21 12:45
9F：→ pp520: VRAM不足，速度再快也是無用武之地 04/21 12:46
10F：→ pp520: 連打開城市的資格都沒有 04/21 12:46
11F：→ pp520: 程式 04/21 12:47
12F：噓 uemo610: AI繪圖=盜圖 04/21 13:04
13F：→ bettle1461: 一個大VRAM且相對新卡便宜的選擇是 3090 Ti，3090 跑 04/21 13:18
14F：→ bettle1461: diffusion 超燙 04/21 13:18
15F：推 mrme945: 3090Ti量太少了，不然的確是比3090好很多的選擇 04/21 13:21
16F：→ oppoR20: 3090是真的燙 可以煮飯的那種 04/21 13:24
17F：→ bettle1461: 不過 4090 真的很強，用3090 Ti 70% 的功耗還加速 1.6 04/21 13:31
18F：→ bettle1461: 倍以上，本人親測，根本北極熊救星 04/21 13:31
19F：→ Sartanis: 學對岸魔改2080Ti 22GB好了XD 04/21 13:37
20F：推 odanaga: vram大 就是王 04/21 13:38
21F：推 et1783: 還可以研究看看webllm，為A卡打開一扇窗 04/21 13:57
22F：→ soulgem: 23G VRAM... 好吧, 對於 GPU 程式好像沒有 12+12 當 24.. 04/21 14:29
23F：→ soulgem: 其實不喜歡模型越搞越大變成計算軍備競賽的趨勢... 04/21 14:33
24F：→ soulgem: (還是會用繪圖卡, 雖然慢, 但是可以在相對價格搞到 VRAM) 04/21 14:34
25F：→ ZMTL: 能放到家用電腦跑的，目前已經都是「縮小」的模型了(文字部 04/21 14:56
26F：→ ZMTL: 份啦 04/21 14:56
27F：→ soulgem: 24G VRAM 繪圖卡就對不到價了, 這就沒辦法 XD 04/21 15:04
28F：→ vsbrm: 跑stable diffusion ,so-vits-svc 這些，選4090還是很有優 04/21 15:19
29F：→ vsbrm: 勢，如果只是玩看看，8G VRAM的顯卡慢慢跑就好了，不用特地 04/21 15:19
30F：→ vsbrm: 去換 04/21 15:19
31F：推 creepy: HF也有GPT-2的模型 預訓練好的model應該都不用太多vram 04/21 15:23
32F：推 ms0317929: 3090到底跑起來要不要去改散熱那種東西啊？ 04/21 15:28
33F：推 creepy: 沒有持續一直跑 限縮瓦數上限 可以不用 04/21 15:29
34F：推 ZEYU: A卡是不是完全不用考慮阿 04/21 15:46
35F：推 Aeryzephyr: 4090只怕線燒毀... 04/21 16:13
36F：→ Aeryzephyr: 目前我還是用2070s的8g在算圖，8g是一個底限 04/21 16:15
37F：→ Aeryzephyr: 實際玩起來還行，只是放大不方便用內建的高解析修正.. 04/21 16:16
38F：→ Aeryzephyr: 只是算圖實在覺得慢，過陣子還是會購入4090 04/21 16:19
39F：推 yenchieh1102: 4，現在AI都基於N卡在發展，要玩就是N家最好用 04/21 16:27
40F：推 tsubasawolfy: 目前都在N卡上發展，不過微軟前幾天丟出新聞說他們 04/21 17:12
41F：→ tsubasawolfy: 有打算自製AI專用晶片去應付更大的需求。Project A 04/21 17:12
42F：→ tsubasawolfy: thena 從2019開始應該要端出什麼東西來了 04/21 17:12
43F：→ trywish: A卡能跑AI，我跳的時候，要訓練lora還做不到。至於速度？ 04/21 18:37
44F：→ trywish: rx5700也不算慢了，但因為vram不足，所以壓低效能就慢到 04/21 18:38
45F：→ trywish: 哭。真的要玩的確N卡比較好，但A卡還是可以玩，只是真的 04/21 18:38
46F：→ trywish: vram要12G以上。lora現在那麼容易抓，其實也沒必要自己去 04/21 18:39
47F：→ trywish: 練。主玩遊戲，偶爾跑AI，A卡就夠了。兩者並重，N卡較佳 04/21 18:40
48F：→ trywish: 想跑訓練，vram 24G比較好。 04/21 18:40
49F：→ trywish: 另外預算也不用80k，4090才56K，折價下來都剩51左右，掛 04/21 18:44
50F：→ trywish: 個power 3~5K。CPU在玩遊戲才會出現瓶頸。單論跑AI還好。 04/21 18:45
51F：→ trywish: 所以大概55K~60K就能搞定。 04/21 18:46
52F：推 jaspergod: webllm有沒有中文不錯的...之前測一個opt-13b感覺還不 04/21 22:20
53F：→ jaspergod: 太能用... 搞半天玩沒幾下就關了XD 感覺還有段路要走 04/21 22:20
54F：推 jeffguoft: 前陣子也直上3090了，玩AI 12G絕對不夠用 04/22 00:44
55F：→ ZMTL: 聽說，聽說，Colab要開始限制跑SD又沒付錢買pro的了 04/22 01:03
56F：→ ZMTL: Reddit上正在討論 04/22 01:03
57F：推 suitup: 一樓馬上兩個跑出來推770是怎樣 04/22 11:33
58F：推 ronald279: 推 04/22 11:48
59F：→ ronald279: a770跟a卡沒辦法吧 好狠 04/22 11:49
60F：推 Aeryzephyr: 千萬不要買N卡以外的顯卡，除非你非常想除錯練經驗值 04/22 12:20
61F：→ soulgem: stablelm 可以 12+16 > 24... 感恩, torch 基礎可能可以. 04/22 16:42
62F：→ soulgem: 語言模型+torch 基礎的感覺高機率可以兩三張抵一張... 04/22 16:52
※ ZMTL:轉錄至看板 AI_Art 04/30 21:21