作者pl132 (pl132)
看板Tech_Job
标题[新闻]投资辉达 AI 晶片 1 美元赚 7 美元，实现
时间Thu Jul 11 22:15:52 2024
投资辉达 AI 晶片 1 美元赚 7 美元，实现黄仁勳买越多省越多口号
https://tinyurl.com/22z4n5qm
GPU 大厂辉达（Nvidia）超大规模和 HPC 业务副总裁兼总经理 Ian Buck，日前公开活动
时表示，客户投资数十亿美元购买新辉达硬体，以跟上 AI 大模型需求，提高收入和生产
力。从投资效益说，硬体用在 AI 大语言模型训练，投资 1 美元回收 5 美元，如果用在
大模型推理，投资 1 美元更回收 7 美元。
Buck 表示，建设大型资料中心企业特别受惠，四至五年使用寿命内获丰厚回报。模型训
练方面，云端运算商购买 GPU 每花 1 美元，四年内提供算力能收回 5 美元，推理用更
有利可图，每花 1 美元能有 7 美元回报，且这数字还会增长。
黄仁勳也说过类似的话，Buck 解释原因。借助 CUDA 演算法创新，辉达将 H100 的 LLM
执行速度提升三倍，将 Llama 3 等模型成本降低三分之一。H200 推理性能较 H100 翻倍
，对生产有巨大价值。
Buck 举例，700 亿参数的 Llama 3 单台 HGX H200 伺服器每秒输出 24,000 个 Token，
支援超过 2,400 名用户，照定价看，托管 Llama 3 的供应商每花 1 美元买辉达 HGX
H200 伺服器，四年内从 Llama 3 token 计费赚到 7 美元。
Llama、Mistral 或 Gemma 等 AI 推理模型不断发展，辉达将开放性 AI 模型导入
NVIDIA 推理微服务 (NIM) 架构，最佳化 Blackwell 架构 GPU 推理执行度。GPU 支援
FP4 和 FP6 类型数据，低强度 AI 负载能提高能效。
辉达资料显示，与 Hopper 架构相较，Blackwell 架构训练速度比 H100 快四倍，推断速
度快 30 倍，能即时运行兆级参数大语言模型生成式 AI，降低成本和能耗 4%。这呼应黄
仁勳喊过多次的「买越多，省越多」口号，但不能忽视，辉达 GPU 价格也快速上涨。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 180.177.0.241 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1720707355.A.26A.html
1F：推 ghchen1978 : 多买几台大金吧 07/11 22:48
2F：→ f12sd2e2aa : 哪间公司真的靠AI赚钱了 07/11 23:26
3F：推 a29831287 : NV啊 07/12 00:51
4F：推 spath : AI淘金潮，结果还是卖工具的最赚钱 07/12 00:53
5F：→ much0112 : 有获利的只有股票吧 07/12 01:39
6F：→ veru : 你们知道openAI 到今年为止 半年不到的营收是34亿 07/12 06:56
7F：→ veru : 美金吗？ 07/12 06:56
8F：推 fred7698 : 那OpenAI买啊，还是这一家就够了XDD 07/12 08:33
9F：嘘 quartics : OpenAI 今年才预估营收34亿美,哪来做梦半年就34亿 07/12 09:52
10F：→ quartics : 但赚再多也不够烧, 大型LLM太烧钱 07/12 09:55
11F：推 bettyangel : 听说中国留学生会在美台日欧印买晶片手机,可听口音 07/12 11:08
12F：推 bettyangel : 以及证件 07/12 11:48
13F：嘘 hegemon : 预估这波可能会跟淘金热很像，只有卖工具的发财 07/12 12:21
14F：推 clecer : MS copilot 360也没赚多少 07/12 14:39
15F：推 bettyangel : 听说→感觉 07/12 17:58
16F：推 motan : 金铲子 07/12 20:35
17F：推 andy810306 : 其实啊你买2兆的货半价出售营收就有1兆了 07/13 00:09
18F：→ andy810306 : AI营收就是这麽回事，openAI可能不只半价就是 07/13 00:10
19F：嘘 pig2014 : 感觉已经变成老鼠会了 07/13 14:35