作者lalacoa (lalacoa)
看板Tech_Job
標題Re: [討論] 群聯買不起三台nvdia dgx?
時間Wed May 29 21:20:35 2024
我也看了這個訪談
所以故事應該是..
幾個工程師想在公司弄LLM fine tune去跟老闆要三台DGX
老闆一看跟公司業務八竿子打不著拒絕了
工程師拿自家SSD變成4090的VRAM自幹LLM
老闆知道後發現自家產品居然也能跟AI沾上邊,開始大量宣傳新發明
這故事是不是告訴我們...養閒人還是很重要的 (但不是普通的閒人)
夠閒才會激發創意
整天趕進度是不會有新發明的
※ 引述《myis8787 (white)》之銘言:
: 來源: https://www.youtube.com/watch?v=mD6IZBnfJWU
: 標題:市值從零到一千億的創業過程!群聯電子如何成為台灣晶片設計傳奇?協助台灣
企
: 國際盃?專訪群聯電子創辦人潘健成董事長!
: --------
: 訪談裡面提到群聯同事要求潘董購入三台NV
: 總價六千萬的DGX來訓練公司自己用的LLM
: 潘董直接回答最近市場不好 沒錢!
: 台灣一線IC廠真的買不起嗎?
: 還是潘董覺得沒那個價值呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 185.213.82.243 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1716988837.A.35E.html
※ 編輯: lalacoa (185.213.82.243 臺灣), 05/29/2024 21:21:08
1F:推 physicsdk : 這種故事真實性有多高XD05/29 21:26
2F:推 nikolas : 規模大一點的公司都會有 沒做產品 純研發的部門05/29 21:26
3F:→ jkl852 : 像gg的pathfinding阿 上班就是看機票跟股票05/29 21:46
4F:推 havochuman : 這故事你會信?05/29 22:00
5F:推 joefaq : 可以跟董事長說得上話的都是長官了05/29 22:09
6F:推 a70327cow : 給潘蛇15分鐘05/29 22:23
7F:→ jtsu5223 : gg PFD都在看機票和股票?笑死唬爛不打草稿05/29 22:42
8F:→ jecint1707 : XD05/29 23:11
9F:→ ashyang : NV是有錢人的AI,這個是窮人版AI05/30 00:40
10F:推 iefast2004 : 給潘蛇跟皮衣刀客講15分鐘,群聯就起飛了05/30 01:53
11F:推 qwe78971 : SSD 當vram 還跑LLM ? 一個月內就報廢了 來搞笑05/30 03:53
12F:→ dildoe : 跑LLM當壓力測試新工具沒問題啦XD05/30 05:51
13F:推 doranako : 改成ssd慢很多05/30 07:13
14F:→ d58974 : 先不談ssd當vram的真實性啦,但的確要夠閒才會開始搞05/30 07:56
15F:→ d58974 : 事,如果每天忙到連睡覺都沒時間,累都累死了搞事只是05/30 07:57
16F:→ d58974 : 在搞自己而已05/30 07:57
17F:→ flysonics : 很簡單的一個邏輯 假如是你自己當side proj作來玩05/30 08:55
18F:→ flysonics : 的 沒資源時拿什麼理由開口跟你老闆要資源?05/30 08:55
19F:→ flysonics : 除非是你跟你老闆有私交 或是這side proj本身就是05/30 08:55
20F:→ flysonics : 你老闆job assignment的一部分 不然我想不太到這種05/30 08:55
21F:→ flysonics : 情況下能跟老闆開口要資源的合理性 05/30 08:55
22F:推 shikemurajy : 其實好像很多IC設計這樣幹ㄏ05/30 12:29
23F:推 jeff85898 : 群聯發明的?確定不是別人研究成果拿來用05/30 13:03
25F:推 tsairay : 他們手上ssd很多啊,拿一些來當消耗品還好啦05/30 13:19
26F:推 wcre : 問題是誰當閒人啊,給我爽,副總下去做?05/30 15:37
27F:推 baba1128 : 這個故事是真的,因為開口要的是他們現任技術長05/30 16:40
28F:推 bizer : 台灣玩不起高階設備,AI都使用錢堆錢05/30 22:23
29F:→ aria0520 : SSD當Vram跑LLM 阿不就只是用時間換取空間05/30 23:40
30F:→ aria0520 : 當然還是可以train阿 阿你finetune完別人都出05/30 23:40
31F:→ aria0520 : 下一代模型了 這"發明"是有什麼鳥用05/30 23:40
32F:→ aria0520 : 阿你如果是拿來infer 你不offload到GPU本來就是05/30 23:41
33F:→ aria0520 : 在RAM上 滿了就swap到SSD kv cache也放ssd05/30 23:42
34F:→ aria0520 : 阿這不就標準操作 啥發明05/30 23:43
35F:→ aria0520 : 老闆看起來是真的不懂才會想到要把這拿來吹05/30 23:43
不過潘董有提到說這個是用在公司或家庭內部的模型訓練,不是跟那些巨頭AI相比,這個
概念倒是挺前衛的
36F:→ aria0520 : 基層工程師大概也在苦笑 不就開源兜一兜結果被當寶05/30 23:44
37F:→ physicsdk : 有時候老闆幹些工程師覺得很無聊的事 股東卻會高潮05/31 00:26
38F:→ physicsdk : 然後股價就噴起來05/31 00:26
39F:→ physicsdk : 蹭AI是現在的主流風向05/31 00:27
※ 編輯: lalacoa (1.161.163.57 臺灣), 05/31/2024 01:14:23
40F:推 jeff85898 : 花個半年微調模型 效果好不好要半年後才知道 這觀念 05/31 01:22
41F:→ jeff85898 : 的確是挺前衛的 05/31 01:22
42F:噓 leviathen : 前衛個屁,家裡用買個GPU啊,誰閒來沒事用SSD搞這個 05/31 03:11
43F:→ leviathen : ,費時又麻煩 05/31 03:11
44F:→ leviathen : 就概念是有人說可以徒手蓋房子不用工具,當然做得到 05/31 03:13
45F:→ leviathen : ,但是意義何在? 05/31 03:13
46F:→ leviathen : 單純是蹭AI的噱頭新聞罷了 05/31 03:14
47F:推 joygo : 臉書 谷歌都在放出模型了,主要是要練公司內部資 05/31 20:06
48F:→ joygo : 料吧 05/31 20:06