作者bawpee (ED)
看板nb-shopping
標題[選購] 訓練AI model筆電請益
時間Thu Oct 10 09:42:40 2024
※ 請詳填下列重要條件! **勿填寫在與題目同一行上!**
※ 內容請填寫在>之後，不符格式者刪文
-----------以上可用ctrl+y刪除整行，或自行刪除
預算範圍：5萬上下
①用途：可部署Llama 3 8B model ②常用軟體：平常coding會用到的IDE
①攜帶頻率：經常 ②使用場所有無插座：有
①使用國境：台灣
①螢幕尺寸範圍：不限 ②外觀偏好：黑、可以輕薄更好
是否 必須內建光碟機：否
補 充 項 目：
過去只有Object detection的model training經驗，但近日想直接投入做微型LLM部署的
工作內容，當然model training最終我還是會選擇在GCP/EC2那邊去做會更適合，但部署
的部分會想在筆電端進行部署，也歡迎有經驗的大大可以不吝給予小弟建議，非常感謝！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.178.65 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/nb-shopping/M.1728524562.A.409.html
1F：推 JefferyTseng: 我也好奇這怎麼挑，GPU 和 RAM 優 42.77.196.3 10/10 11:12
2F：→ JefferyTseng: 先看哪個 42.77.196.3 10/10 11:12
3F：→ thomaschion: 沒什麼好挑吧？就Ram 選最大，GPU125.228.189.235 10/10 11:45
4F：→ thomaschion: 選最強的125.228.189.235 10/10 11:45
5F：推 JefferyTseng: 樓上，「優先」 42.77.196.3 10/10 12:23
6F：推 Smallsh: 推3樓 都買最好的就對了 223.139.16.22 10/10 14:06
7F：→ gbcg9725: ai顯卡尤其重要，尤其是vram 大小 27.51.33.80 10/10 14:37
8F：→ gbcg9725: ram其實還好，如果筆電ram 太小又不能 27.51.33.80 10/10 14:38
9F：→ gbcg9725: 擴充，顯卡肯定不會太強 27.51.33.80 10/10 14:38
10F：→ gbcg9725: 是說五萬頂多4070筆電 27.51.33.80 10/10 14:39
11F：→ thomaschion: 又不能擴充，什麼沒有優不優先選項 27.53.139.79 10/10 15:01
12F：→ thomaschion: 吧 27.53.139.79 10/10 15:01
13F：→ justin332805: 只能預算內挑Vram最大的去做運算了223.136.184.235 10/10 15:33
14F：→ justin332805: AI反而跟RAM比較沒關係223.136.184.235 10/10 15:34
15F：推 JefferyTseng: 蛤？如果無法擴充的話更要考慮優先 42.77.17.86 10/10 17:43
16F：→ JefferyTseng: 級吧？要不我這麼問好了，把成本考 42.77.17.86 10/10 17:43
17F：→ JefferyTseng: 慮進來，投資 RAM 和顯卡的 CP 值 42.77.17.86 10/10 17:44
18F：→ JefferyTseng: 哪個高？ 42.77.17.86 10/10 17:44
19F：推 smallreader: RAM一定選32G以上的啊111.254.154.195 10/10 18:06
20F：→ smallreader: 缺乏足夠RAM能做什麼開發111.254.154.195 10/10 18:07
21F：推 JefferyTseng: 請問 AI 需要大量的數據訓練嗎？若 42.77.17.86 10/10 18:22
22F：→ JefferyTseng: 要不斷餵 data，會否就拉高 RAM 容 42.77.17.86 10/10 18:22
23F：→ JefferyTseng: 量與速度的要求？ 42.77.17.86 10/10 18:22
24F：→ gbcg9725: 顯卡VRAM沒達標你RAM再大都沒用182.233.181.158 10/10 18:43
25F：→ gbcg9725: RAM小又不可擴的幾乎都是文書機 輕薄機182.233.181.158 10/10 18:44
26F：→ justin332805: 我只記得如果是產圖或者產影片的223.136.184.235 10/10 18:44
27F：→ gbcg9725: 本來就不適合用於部署AI模型182.233.181.158 10/10 18:44
28F：→ justin332805: 那種模型好像是用顯存去算吧?223.136.184.235 10/10 18:44
29F：→ ikox3658: 這種需求 會不會組桌機 再買台輕薄筆電 1.174.234.131 10/10 20:51
30F：→ ikox3658: 比較划算？畢竟訓練ai也是要開好幾個小 1.174.234.131 10/10 20:51
31F：→ ikox3658: 時給他跑？ 1.174.234.131 10/10 20:51
32F：→ ikox3658: 輕薄筆電遠端用的 1.174.234.131 10/10 20:51
33F：→ chang1248w: 別想了，7B 半精度都要14GB graphic 140.115.212.91 10/10 21:49
34F：→ chang1248w: ram了 140.115.212.91 10/10 21:49
35F：→ chang1248w: 這五萬乖乖拿去買顯卡吧 140.115.212.91 10/10 21:51
36F：→ god145145: 看看今晚的Advancing AI有沒有 36.234.28.155 10/10 23:55
38F：推 JefferyTseng: 我有過和 ikox3658 大一樣的想法， 223.138.98.231 10/11 00:26
39F：→ JefferyTseng: 感覺還是優解 223.138.98.231 10/11 00:26