作者lalacoa (lalacoa)
看板Tech_Job
标题Re: [讨论] 群联买不起三台nvdia dgx?
时间Wed May 29 21:20:35 2024
我也看了这个访谈
所以故事应该是..
几个工程师想在公司弄LLM fine tune去跟老板要三台DGX
老板一看跟公司业务八竿子打不着拒绝了
工程师拿自家SSD变成4090的VRAM自干LLM
老板知道後发现自家产品居然也能跟AI沾上边,开始大量宣传新发明
这故事是不是告诉我们...养闲人还是很重要的 (但不是普通的闲人)
够闲才会激发创意
整天赶进度是不会有新发明的
※ 引述《myis8787 (white)》之铭言:
: 来源: https://www.youtube.com/watch?v=mD6IZBnfJWU
: 标题:市值从零到一千亿的创业过程!群联电子如何成为台湾晶片设计传奇?协助台湾
企
: 国际盃?专访群联电子创办人潘健成董事长!
: --------
: 访谈里面提到群联同事要求潘董购入三台NV
: 总价六千万的DGX来训练公司自己用的LLM
: 潘董直接回答最近市场不好 没钱!
: 台湾一线IC厂真的买不起吗?
: 还是潘董觉得没那个价值呢?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 185.213.82.243 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1716988837.A.35E.html
※ 编辑: lalacoa (185.213.82.243 台湾), 05/29/2024 21:21:08
1F:推 physicsdk : 这种故事真实性有多高XD05/29 21:26
2F:推 nikolas : 规模大一点的公司都会有 没做产品 纯研发的部门05/29 21:26
3F:→ jkl852 : 像gg的pathfinding阿 上班就是看机票跟股票05/29 21:46
4F:推 havochuman : 这故事你会信?05/29 22:00
5F:推 joefaq : 可以跟董事长说得上话的都是长官了05/29 22:09
6F:推 a70327cow : 给潘蛇15分钟05/29 22:23
7F:→ jtsu5223 : gg PFD都在看机票和股票?笑死唬烂不打草稿05/29 22:42
8F:→ jecint1707 : XD05/29 23:11
9F:→ ashyang : NV是有钱人的AI,这个是穷人版AI05/30 00:40
10F:推 iefast2004 : 给潘蛇跟皮衣刀客讲15分钟,群联就起飞了05/30 01:53
11F:推 qwe78971 : SSD 当vram 还跑LLM ? 一个月内就报废了 来搞笑05/30 03:53
12F:→ dildoe : 跑LLM当压力测试新工具没问题啦XD05/30 05:51
13F:推 doranako : 改成ssd慢很多05/30 07:13
14F:→ d58974 : 先不谈ssd当vram的真实性啦,但的确要够闲才会开始搞05/30 07:56
15F:→ d58974 : 事,如果每天忙到连睡觉都没时间,累都累死了搞事只是05/30 07:57
16F:→ d58974 : 在搞自己而已05/30 07:57
17F:→ flysonics : 很简单的一个逻辑 假如是你自己当side proj作来玩05/30 08:55
18F:→ flysonics : 的 没资源时拿什麽理由开口跟你老板要资源?05/30 08:55
19F:→ flysonics : 除非是你跟你老板有私交 或是这side proj本身就是05/30 08:55
20F:→ flysonics : 你老板job assignment的一部分 不然我想不太到这种05/30 08:55
21F:→ flysonics : 情况下能跟老板开口要资源的合理性 05/30 08:55
22F:推 shikemurajy : 其实好像很多IC设计这样干ㄏ05/30 12:29
23F:推 jeff85898 : 群联发明的?确定不是别人研究成果拿来用05/30 13:03
25F:推 tsairay : 他们手上ssd很多啊,拿一些来当消耗品还好啦05/30 13:19
26F:推 wcre : 问题是谁当闲人啊,给我爽,副总下去做?05/30 15:37
27F:推 baba1128 : 这个故事是真的,因为开口要的是他们现任技术长05/30 16:40
28F:推 bizer : 台湾玩不起高阶设备,AI都使用钱堆钱05/30 22:23
29F:→ aria0520 : SSD当Vram跑LLM 阿不就只是用时间换取空间05/30 23:40
30F:→ aria0520 : 当然还是可以train阿 阿你finetune完别人都出05/30 23:40
31F:→ aria0520 : 下一代模型了 这"发明"是有什麽鸟用05/30 23:40
32F:→ aria0520 : 阿你如果是拿来infer 你不offload到GPU本来就是05/30 23:41
33F:→ aria0520 : 在RAM上 满了就swap到SSD kv cache也放ssd05/30 23:42
34F:→ aria0520 : 阿这不就标准操作 啥发明05/30 23:43
35F:→ aria0520 : 老板看起来是真的不懂才会想到要把这拿来吹05/30 23:43
不过潘董有提到说这个是用在公司或家庭内部的模型训练,不是跟那些巨头AI相比,这个
概念倒是挺前卫的
36F:→ aria0520 : 基层工程师大概也在苦笑 不就开源兜一兜结果被当宝05/30 23:44
37F:→ physicsdk : 有时候老板干些工程师觉得很无聊的事 股东却会高潮05/31 00:26
38F:→ physicsdk : 然後股价就喷起来05/31 00:26
39F:→ physicsdk : 蹭AI是现在的主流风向05/31 00:27
※ 编辑: lalacoa (1.161.163.57 台湾), 05/31/2024 01:14:23
40F:推 jeff85898 : 花个半年微调模型 效果好不好要半年後才知道 这观念 05/31 01:22
41F:→ jeff85898 : 的确是挺前卫的 05/31 01:22
42F:嘘 leviathen : 前卫个屁,家里用买个GPU啊,谁闲来没事用SSD搞这个 05/31 03:11
43F:→ leviathen : ,费时又麻烦 05/31 03:11
44F:→ leviathen : 就概念是有人说可以徒手盖房子不用工具,当然做得到 05/31 03:13
45F:→ leviathen : ,但是意义何在? 05/31 03:13
46F:→ leviathen : 单纯是蹭AI的噱头新闻罢了 05/31 03:14
47F:推 joygo : 脸书 谷歌都在放出模型了,主要是要练公司内部资 05/31 20:06
48F:→ joygo : 料吧 05/31 20:06