作者newbrain ()
看板Stock
标题[新闻]地表最快AI晶片发布,哈佛辍学生挑战英伟达
时间Thu Jun 27 01:37:18 2024
原文标题：「地表最快」AI 晶片发布，哈佛辍学的本科生挑战英伟达
原文连结：
https://www.sohu.com/a/788693870_413981
发布时间：2024-06-26 20:01 来源: 爱范儿
记者署名：
原文内容：
在谈到AI、大模型、算力等关键字时，如果要提及硬体产品，很多人应该会不假思索的说
出英伟达。
一位华尔街分析师曾如此评论到：
人工智慧领域正在进行一场战争，而英伟达是唯一的军火商。
的确，在AI 时代下，英伟达的地位是独特又难以撼动的。但现在，有一位勇者准备正式
挑战这个局面。
2022 年，Gavin Uberti 和Chris Zhu 创立了Etched.ai。他们从一开始就获得了包括
Ebay 前CEO Devin Wenig 在内的536 万美元的种子轮投资。
在刚刚宣布融资1.2 亿美元後，Etched 又发布了目前的最快的AI 晶片
此Sohu 非彼搜狐，它号称可以在毫秒级别的时间里处理数千个单字。每秒能处理超过50
万个tokens，运行Llama 70B 模型。
什麽概念呢？这就相当於可以在两秒钟内写完《圣经》，或是一年写15 兆个tokens。
根据Etched 官网介绍，Sohu 在硬体层面上整合了Transformer 架构，是第一个专为
Transformer 模型设计的专用晶片（ASIC）。
正是这种专用性，为Sohu 带来了效能的巨大提升。相较於英伟达H100，Sohu 的推理速度
相提升了8 至10 倍。
搭载八片Sohu 晶片的伺服器，可以取代整整160 个英伟达H100 GPU。
对於程式场景，Sohu 可以透过蒙特卡罗树搜索，并行相应数百个结果，给出最优秀的答
案。
无论是语音助理还是智慧客服，Sohu 都能做到在几毫秒内分析数千个单字。
并且Sohu 还支援多重推测解码，可以以极快的速度即时生成新的内容。作为全球首款Transformer 专用积体电路（ASIC）晶片，每张Sohu 晶片只有一个核心，
使用了台积电4nm 制造工艺，并配有144GB HBM3E 高频宽记忆体。
相较於英伟达的下一代Blackwell（B200）GPU，Sohu 的速度提高了一个量级，价格也会
更便宜。短短两年时间，Etched 从零开始成长到现在这番模样，实在是一个「奇蹟」。
Etched 的创办人Gavin Uberti 和Chris Zhu 都是华裔，两人也都有丰富的背景。Gavin Uberti 和Chris Zhu 都曾就读哈佛大学，度过了一段大学部生活。後来出於一些
原因，他们选择休学一年，并在OctoAI 找到了一份实习工作。
当时两人的工作内容，主要是负责ApacheTVM 开源编译器和微内核开发。但在实习时，他
们发现Arm 的指示集中的一些设计十分低效，使得他们的工作效率很差。
Gavin Uberti 说到：「这个问题无法解决，每次工作时我都得面对这个问题，这让我和
Chris 觉得我们必须做得更好。」在思考如何解决这个问题时，他们突然发现可以利用
这个想法来设计一款AI 加速晶片。
於是两人便选择了从哈佛辍学，创办了一家专注於LLM 的AI 晶片新创公司—— Etched。
在Gavin Uberti 看来，通用公版设计无法带来获得突破性的效能提升，所
以他们才研发Transformer 架构下的专用加速晶片。
Gavin Uberti 曾说：
必须在单一架构上下大力气，让晶片处理AI 任务，目标太大了，必须要针对更具体的任
务来设计晶片… 我们认为英伟达最终会这麽做。目前主流的AI 产品如ChatGPT、Claude、Gemini 和Sora 等，都是以Transformer 架构驱
动的。作为全球首款Transformer ASIC 晶片，再配上如此亮眼的成绩，Etched 自然也
是吸引了一大波关注。
6 月25 日，Etched 宣布完成1.2 亿美元的A 轮融资。这次融资由纽约创投机构Primary
Venture Partners 和Positive Sum Ventures 共同领投。
其天使投资人阵容也十分强大，包括创投家Peter Thiel、GitHub 执行长Thomas Dohmke
、自动驾驶公司Cruise 的共同创办人Kyle Vogt， 以及Quora 的共同创办人Charlie
Cheever，
在2022 年创立之初，Etched 就看中了Transformer 将会占据主导地位的未来。 Gavin
Uberti 表示，「我们在人工智慧领域下最大的赌注。」
如果我们赌对了，Sohu 将改变世界。这就是我们敢於下注的原因。
心得/评论：
搞AI晶片都一定要有华人血统才纯正? (误)
继上次说有整片晶圆就是一个晶片设计的公司後
另一个真正有实力挑战NVIDIA的公司出现了
号称比GB200还快八倍的晶片
不过要挑战我大辉达，先能越过CUDA的护城河再说
https://i.imgur.com/NIYC5CT.png
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 122.116.228.113 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1719423441.A.DD7.html
※ 编辑: newbrain (122.116.228.113 台湾), 06/27/2024 01:40:42
2F：推 cchh179 : 华人还是蛮厉害的 06/27 01:41
3F：→ kausan : 才给融资1.2亿 看起来又是圈钱的 06/27 01:47
4F：推 chses910372 : 这个我先观望，目前看文章应该是针对transformer 06/27 01:48
5F：→ chses910372 : 专属的处理器，不知道是真的还是吹很大 06/27 01:48
6F：推 ga278057 : 这个饼画的有点大,不把AMD放在眼里还8倍,八倍里奇 b 06/27 01:48
7F：→ ga278057 : abyrage 06/27 01:48
8F：推 js850604 : 问题是CUDA强在通用 06/27 01:49
9F：推 alphish : 原来nVIDIA是在跌这个 06/27 01:51
10F：推 icedog122 : NVDA完了 06/27 01:52
11F：推 yuen1029 : 这一定是韩国人 06/27 01:53
12F：推 The4sakenOne: 买个股这种被天降猛男打趴的风险实在是太高了，尤其 06/27 01:56
13F：→ The4sakenOne: 是科技业 06/27 01:56
14F：推 wzshi : 还是要台积电代工啊 06/27 01:56
15F：推 aegis43210 : 只有AI推论强而已，没什麽用，云端运算厂商买H100只 06/27 01:57
16F：→ aegis43210 : 是顺便用它的AI推论功能而已 06/27 01:57
17F：推 siki588 : 完了晶片需求不就… 06/27 02:00
18F：→ chuanmaotou : GG how to lose 06/27 02:01
19F：推 ohha0221 : 八片可以取代160个GPU 那耗电量不就屌打NV了 猜未 06/27 02:07
20F：→ ohha0221 : 来这种专门客制化的AI晶片会是主流？ 06/27 02:07
21F：→ aegis43210 : 未来老黄在R100上面放个ASIC，效果也差不多，只有AI 06/27 02:12
22F：→ aegis43210 : 推论功能效益太差 06/27 02:12
23F：推 Everforest : 台积电客户+1 06/27 02:12
24F：→ aegis43210 : 老黄怕的只有掏金客一直掏不到黄金该怎麽办 06/27 02:13
25F：推 southes : 都要靠gg 06/27 02:14
26F：→ shlee : 老黄搞通用都能搞到第一了 要针对特定方向客制化怎 06/27 02:17
27F：→ shlee : 麽可能做不出来 06/27 02:17
28F：推 a1237759 : ASIC比GPU?要不要老黄放一颗ASIC再来比看看你赢不赢 06/27 02:19
29F：推 w60904max : 下一个比特大陆 06/27 02:20
30F：→ w60904max : 不过他很诚实说自己在赌 欢迎投资人一起赌 06/27 02:21
31F：→ aimlikenoob : NVDA的优势根本不只是硬体 06/27 02:26
32F：推 shawnfu : 感觉就是来骗钱的，有demo影片可看吗？还有这种新 06/27 02:27
33F：→ shawnfu : 创公司如何抢到TSM产能也是问号。 06/27 02:27
34F：推 FirePopcorn : 台积电喷喷喷 06/27 02:40
35F：→ otaku690 : 没tape out就在吹? 06/27 02:44
36F：推 Slzreo1726 : 来了 跟超导体一样的假利空来了 06/27 02:47
37F：推 Raikknen : 蛮会吹的 06/27 02:56
38F：推 g27834618 : 华为的ai也崛起啊 屌打老黄 06/27 02:57
39F：→ crazylunar : 真有这麽神？几人团队瞬间就弯道超车几千个精英十几 06/27 02:58
40F：→ crazylunar : 年来的努力？ 06/27 02:58
41F：推 huabandd : 有这麽好超越就好了 06/27 02:58
42F：→ huabandd : 华为既视感 06/27 02:59
43F：推 TIPPK : 历史上有出现过这种突然屌打的例子吗 06/27 03:00
44F：→ HenryLin123 : 晶片我觉得是很难 06/27 03:15
45F：推 wsx26997785 : 哈佛不是都法律财经为主吗 06/27 03:47
46F：推 howhower : 针对语言模型设计的晶片有可能超车，赶上不是从无 06/27 03:55
47F：→ howhower : 到有，而是站在巨人的肩膀上 06/27 03:55
48F：推 Plumpy : 通用跟特规比较 先观望 06/27 03:58
49F：→ cccict : 辉达是用来不断迭代参数已达到最佳化的运算，所以 06/27 04:35
50F：→ cccict : 需要同时大量的运算跟多线程，这个看起来是用来跑 06/27 04:35
51F：→ cccict : 已经成型的模型，单纯吃input产出output，功能根本 06/27 04:35
52F：→ cccict : 不一样 06/27 04:35
53F：推 lokimjuy : 很难吧 晶片牵涉的东西太多 很难超车大哥 06/27 04:41
54F：推 lusan26 : 新创公司想排台G，想的真美好 06/27 05:01
55F：→ Sinkirou : 买英伟达的卡主要是为了玩游戏，不是AI 06/27 05:09
56F：推 hit1003 : 文章是写给中国人看的吧？ 06/27 05:12
57F：嘘 fedona : 用笔写驱动程式 06/27 05:43
58F：嘘 pacino : 看来AMD,,Google,Meta都是笨蛋 06/27 06:04
59F：→ Sunofgod : 创新从小公司小团体甚至个人远比大公司容易多了阿 06/27 06:17
60F：→ Sunofgod : 不然微软干嘛砸大钱投资open AI而不是找人来内部自 06/27 06:17
61F：→ Sunofgod : 己搞 会讲AMD G M都笨蛋的我想社会经验还不够多 06/27 06:17
62F：推 jovi0001 : 160个以上的世界还是NV屌打 06/27 06:20
63F：推 q8977452 : 如果你在台湾 我会觉得还好 但他们在美国 有机会吧. 06/27 06:21
64F：→ schula : 美国辍学生是不是也会把字磨掉啊，西台湾教的吗？ 06/27 06:27
65F：嘘 simat : 给中国人看的文章+1，辉达里面哈佛，mit的高材生不 06/27 06:28
66F：→ simat : 知有多少 06/27 06:28
67F：推 q8977452 : 不过还是离不开台积电呀... 06/27 06:28
68F：推 syen : 几年前电车夯 一堆概念电池出来圈钱 现在换AI 06/27 06:29
69F：推 kyoiron : 硬体还有系统整合问题…没那麽简单… 06/27 06:31
70F：推 zick8932511 : 要找谁代工？ 06/27 06:34
71F：→ Alwen : 好无聊 之前groq也是铺天盖地的新闻 然後就没然後惹 06/27 06:36
72F：推 dodoning : GG: 下单请拿号码牌，有钱包产线吗？ 06/27 06:42
73F：→ elmer : 要当中国芯的救星吗？中国融资的去处 06/27 06:43
74F：→ tacoclement : ASIC，拿来特定运算本来就会赢GPU，前阵子也有CSP的 06/27 06:44
75F：→ tacoclement : ASIC这样吹。不过这种标题和内容才有点阅率，骗不懂 06/27 06:44
76F：→ tacoclement : 的 06/27 06:44
77F：推 yytseng : 没有NVlink你单颗快十倍都一样垃圾 06/27 06:49
78F：→ riotssky : 号称超越的坟头上的草... 06/27 06:57
79F：推 GooglePixel : 简单说 硬体再牛但没有生态系 不够方便用没人用就 06/27 07:14
80F：→ GooglePixel : 是没用 06/27 07:14
81F：→ ILike58 : 讲都很会讲，不信你问amd(指)。 06/27 07:21
82F：推 YCL13 : 个人开发者能否有可能避开现今各大厂的专利布局？ 06/27 07:27
83F：推 zerro7 : 为什麽听起来就很唬烂 06/27 07:31
84F：推 Phamalpha : …我还比较信AMD至少人家本业这一股浓浓圈钱味 06/27 07:35
85F：→ ntuooo : 丸子 06/27 07:35
86F：嘘 powerkshs : 自慰文，AI版超导体ㄏ 06/27 07:39
87F：→ zerro7 : 而且文中Sohu是H100的8-10倍 你结语怎麽会写GB200 06/27 07:42
88F：嘘 sxing6326 : CUDA、NVLINK 06/27 07:42
89F：→ zerro7 : GB200比H100快了好几倍 看起来Sohu顶多=GB200? 06/27 07:43
90F：推 pieceioriX : 全文没看到制程跟TSM就是垃圾文章 06/27 07:45
91F：推 BruceChen227: AMD: 06/27 07:46
92F：→ perlone : 文中都说这是任务特化型晶片了 06/27 07:50
93F：→ ILike58 : 反正台湾人最爱这种不明人士的神话，没背景没交代一 06/27 07:53
94F：→ ILike58 : 出世就名震天下，完全没想过别人是集多少人多少努力 06/27 07:53
95F：→ ILike58 : 了十几年的，难怪诈骗横行。 06/27 07:53
96F：推 go1717 : 这根三星弯道超车 有异曲同工之妙XD 06/27 07:58
97F：→ go1717 : 跟 06/27 07:58
98F：→ zerro7 : GB200号称是H100的4-10倍 怎麽图中的比较差不多... 06/27 08:02
99F：→ zerro7 : 这篇新闻真的越看越唬烂 06/27 08:02
100F：→ zerro7 : 感觉很像论文的比较法 专挑自己好的 别人烂的来比? 06/27 08:03
101F：推 zip00000 : 台积电4奈米？？ 你确定？ 06/27 08:04
102F：推 gino0717 : 好 台积又要喷 06/27 08:06
103F：→ paimin : 4nm 的研发成本0.12b 应该是连投片钱都没有 06/27 08:07
104F：推 patrol : 只能处理文字的话其实没什麽fu糗 06/27 08:09
105F：推 patrol : 文组专业本来就不大值钱 06/27 08:12
106F：→ patrol : 有fu糗的是色色机器人 06/27 08:12
107F：→ c928 : 感觉是专利蟑螂 06/27 08:12
108F：→ yiersan : 要是实际做不出来就好笑了 模拟谁会 06/27 08:12
109F：→ yiersan : 谁都会 06/27 08:12
110F：→ patrol : 产值极高，至少我会去买一台 06/27 08:13
111F：→ yiersan : 赶快去中国圈钱 嘻嘻 06/27 08:14
112F：→ benson502 : 这是中国人才爱的神话，在台湾只会被酸 06/27 08:14
113F：推 kinki999 : 感觉在卖专利的 06/27 08:14
114F：推 kichitai : 会不会又是台裔？ 06/27 08:15
115F：→ yiersan : 重点是能在台GG抢到产能吗 06/27 08:16
116F：推 Lipraxde : 帐面上拿纸笔算一算的算力吧？ASIC 你会做投下去做 06/27 08:16
117F：→ Lipraxde : 回来要多久，可能都还没回到自己手上 06/27 08:16
118F：推 dss1017 : 最後还是要让GG生产的啦 06/27 08:18
119F：推 mopa : 跟大世纪的新闻一样，编给同温层听的 06/27 08:22
120F：推 LipaCat5566 : 懂了 买世芯 06/27 08:25
121F：→ jinhouse123 : 喔 ~ 台积电又受益了。。 06/27 08:28
122F：推 KeynesGG : 当NV几十亿美元研发费投假的 06/27 08:33
123F：推 richaad : Inference,not training… 06/27 08:35
124F：→ richaad : 泥要绕过NVLink，自己搞一个出来，不可能。 06/27 08:36
125F：→ richaad : ASIC比泥强的，一大堆，能抢到产能的，有几个？ 06/27 08:37
126F：→ dickey2 : 复制贴上要两秒 06/27 08:40
127F：嘘 puffycat : 买得到HBM？ 06/27 08:45
128F：嘘 deepdish : 哈哈哈 梦里啥都有 06/27 08:49
129F：推 sorcxnegi : 台GG：金子到处有，但你们还是得乖乖买我的铲子：） 06/27 08:55
130F：→ DTFS : 真AI吸金泡泡开始 06/27 09:02
131F：推 leoloveivy : 陈天奇那家出来的可信度增加一下 这架构缺潘董投资 06/27 09:09
132F：→ leoloveivy : asic 的确可行 06/27 09:09
133F：→ kotorichan : 推 06/27 09:17
134F：推 eipduolc : 我只知道所有特斯拉杀手都死了 06/27 09:24
我特都被比亚迪打趴了...这篇只是想跟大家讲...抢卖铲子的人一堆...要注意
※ 编辑: newbrain (122.116.228.113 台湾), 06/27/2024 09:32:52
135F：→ Yui021 : 打不赢就加入 不用这麽累 06/27 09:36
136F：→ pooznn : Sohu 搜狐?! 如果是华人不可能不知道搜狐 中国资金? 06/27 09:38
137F：推 payneblue : 我管他是不是真的 我只知道这家也找台积电生产晶片 06/27 09:41
138F：推 hinanaitenco: 不就ai做成soc 跟gugpu比个屁啊 完全不同东西 06/27 09:53
139F：推 Sonian : CUDA eco system 太完整了 06/27 10:19
140F：推 WWIII : 崩崩 06/27 10:20
141F：推 dvr : 先观望 莫忘先前超导体 06/27 10:35
142F：嘘 FayeFaye1 : 最好是这样啦，晶片不管设计或制造都不存在从零开 06/27 10:50
143F：→ FayeFaye1 : 始能追上的 06/27 10:50
144F：推 ariadne : 就特用型没什麽不可能 先能跑新接龙 踩地雷再说 06/27 11:21
145F：推 Vansace : 一样都需要找台积电 GG才是最猛的 06/27 11:21
146F：推 ariadne : 特用型就是除了做符合那电路设计的事 其他都做不了 06/27 11:23
147F：嘘 puppy20308 : 以前炒作特斯拉杀手，现在炒辉达杀手？最後都是自 06/27 11:23
148F：→ puppy20308 : 己被杀的命运 06/27 11:23
149F：推 handsomepig : 诈骗集团吧... 06/27 11:25
150F：推 jeans520 : 这根中国说自己很先进一样,但文化变高不是一朝一夕 06/27 11:29
151F：推 DustinFu : 这麽好追上当NV这一路走来都平步青云的吗 06/27 12:26
152F：推 ChungLi5566 : nv强在cuda生态 这花10年建立起来的墙壁 06/27 12:27
153F：推 to1322 : 这不就是弯道超车又赢了吗? 好熟悉~ 06/27 12:40
154F：推 pipi5867 : 看到asic就可以关掉了 根本不是同赛道 06/27 12:51
155F：→ annboy : 这个只能inference 也是普普 training还是最大需求 06/27 13:14
156F：推 applejone : 是和GPU不同的东西啊 这是强在产出 06/27 14:49
157F：→ applejone : 之前也有LPU新闻而已 06/27 14:49
158F：推 chadcooper : 也有其他大厂VP加入 等这些人逃了再説 至少现在看起 06/27 14:54
159F：→ chadcooper : 来还是很promising 06/27 14:54
160F：嘘 mliryu1125 : 总是有人想弯道超车，但大多都填海了 06/27 17:01
161F：→ blackjose : 这个是用自己的优化软体，根本没有周边资源建立生 06/27 18:03
162F：→ blackjose : 态系，只是跑分 06/27 18:03
163F：嘘 wcc : 唬烂，哈佛=美国政大，都出一些文科嘴炮仔，最好有 06/27 18:04
164F：→ wcc : 啥技术底的 06/27 18:04
165F：推 cannedtuna : 这才是ai pc吧 一般人只会用到推论和画图 06/27 19:03
166F：→ cannedtuna : 通用给大公司搞就好了 06/27 19:03
167F：嘘 dostey : 采ASIC 怎选这样晶片 完全是垃圾 在吹牛 06/27 19:13
168F：推 Forestier : sohu?搜狐? 06/28 07:44
169F：嘘 thegiver210 : 本科生是三小支语？ 06/28 14:30