AI的Scaling Law能否持续下去，关系着未来AI产业的兴衰啊！ 原文网址:https://bit.ly/49l8Ctj 原文: 对矽谷来说，进入AI时代，摩尔定律已经被一个新概念取代，即是AI的「Scaling Law」 。这意味着厂商必须将更多的数据放入更大的AI模型中，再透过更多的运算能力，寻找到 更智慧的系统。这种洞察力为AI的进步带来了火箭般的推动，将开发的重点从解决棘手的 科学问题转变为建构更大的晶片集群。 简言之，随着ChatGPT的推出，Scaling Law开始崭露头角。在接下来的两年里，AI系统的 快速进步似乎表明，这条法则一直很有效，直到十年内达到某种“超级智慧(super intelligence)”为止。 然而，在过去的一个月里，科技产业界的传言愈来愈响亮，因为OpenAI、谷歌和 Anthropic等公司的最新模型并未显示出符合Scaling Law预测的预期改进。 可是OpenAI的Sam Altman於2024年11月在X上发文表示AI发展没有碰壁。Anthropic的执行 长Dario Amodei和辉达的执行长黄仁勳也对AI进展放缓的报道提出了异议。 对科技业来说，这是一个价值数兆美元的问题。如果久经考验的AI模型训练方法带来的回 报递减，它可能会破坏前所未有的投资周期的核心，即投入新创公司、产品和资料中心资 金将缩减，甚至重新启动闲置的核电厂的计划也将延迟。 研究人员指出了公司在AI开发的早期阶段（称为预训练）可能遇到的两个关键障碍。首先 是获得运算能力，其次是训练资料。辉达和其他公司正在克服AI晶片产出的限制，这几年 後将逐步解决。至於训练资料，其涉及使用大量资料训练LLM，这些资料通常从网路上抓 取，然後由GPU进行处理。然後，该资讯被分解为“标记”，这些“标记”构成了模型处 理资料的基本单位。 虽然年复一年地向模型投入更多的资料和GPU可以可靠地产生更智慧的模型，但公司已经 耗尽了网路上公开可用的资料供应。研究公司Epoch AI预测，到2028年，可用的文字资料 可能会被榨乾。 当然，Scaling Law从来都不是铁律。尽管如此，Scaling Law的假说仍加剧“对错过下一 次重大科技转型的恐惧”，导致大型科技公司对AI进行了前所未有的投资。摩根士丹利表 示，微软、Meta、亚马逊和谷歌的资本支出於2024年将超过2000亿美元，2025年将超过 3000亿美元。 不过，大多数企业仍在寻找AI的杀手级应用程式，尤其是在需要ChatGPT o1推理能力的领 域。在AI扩张的投机阶段，辉达成为世界上最有价值的公司。可是Scaling Law的论点突 显了其未来仍取决於大型科技公司从这些巨额投资中获得实际的回报。一旦过了一年被产 业界发现，AI的确面临难以短期突破的高墙，这时候辉达甚至台积电，甚至整个AI产业将 面临的困境，将是难以估计的损失啊！ --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1733195899.A.1AA.html