先恭祝大家新年快乐，嘶嘶如意~~~ 结论说在前头 对硬体商尤其是Nvidia，短空长多。 对GG没啥影响，硬体该用还是用。 某些有能力的代工厂，特别是做工业电脑的，有共同设计经验的。 有机会吃到。 简单有力一点可以说 这是AI的 IPHONE时刻 接下来就是发现谁是这个时代的 鸿海跟苹概股 首先N不是只有显卡跟伺服显卡，DS最主要是提供一个更有趣的软体架构。 他老东家是做AI投资的，对於把算力榨乾，(单一运算分散到算力丛集上的每个点 再回来，调教通讯，跟这种模型并行跟资料并行的它们玩的应该是满熟练的 还有自己的演算法，基本上这就是有限利用算力的方法。) 某方便来说也算是被逼出来的软体解，而且这种解法相当符合亚洲填鸭式教育精神。 对N来说，新的软体架构，会让他的算力可以有更大的发展，DIGITS如果运作良好 只要四台使用R1 的架构，针对资料做有意义的调整，一间中小型企业，或是稍微敢 花一点有技术能力的自然人就可以拥有一个 自己的地端AI，DIGITS还是可以堆叠的 一台不过定价台币十万，还有Jetson，软体架构进化，跟优化，如果hugging face 上 openR1 专案又验证顺利的话，未来就是百花齐放，跟杨立昆说的一样，这是开源的 胜利。 我自己本来的预想是 3-5年内 机器人社会会来临。 现在，应该是三到五年内，稍微有点技术的人都可以做一个自己的贾维斯 而这些又会更加速，机器人，跟AI 还有VR的发展。 科技就是单点突破最可怕 突破以後，各种技术的叠加，加速会没有办法估算。 很多人只会想投资，跟地缘政治，但是其实站在人类历史来看，这次的发展是很有趣的 也很好玩的一点是，这真的是因为民族性不同，所以欧美完全不会这样思考。 这真的是亚洲的玩法XD 我自己觉得不用担心算力过剩，这个软体训练架构不是只有LLM能用 只是LLM是目前最吸睛(金，各大厂商也最期待变现的，跟替自己脸上贴金(拉高估值 跟股价的原因，但今天DS就像是，超级赛亚人跳楼大拍卖。 所以，才会有急杀，因为你花600，2000订gpt，我在local 本地端使用模型效果差不多 但是我只需要买两张或是四张4090，或是50系列，甚至我花一百万买十台DIGITS 串联，然後从huggingface 上下载R1架构，用自己整理的资料集来微调或是 租卡训练更别说，应该没多久就会有各大厂商，推出自己的基於R1架构模型。 想想就兴奋，现在关键点在於，针对既有资料数据集的优化，他做了哪些具体的事情 ，还有他使用模型产出的有效回答数据有哪些特殊点。 搞定这两块，加上，进入MOE前的有效路由建立，跟基於资料还有模型的丛集分散式运算 算法流变掌握。 AI自由不是难事，当赛道大转弯的时候，可以说是AI从server 端 转向PC端的时刻，这时候你还会觉得N家跟GG会GG吗? 那时候是一个真AIPC年代。 只是堆叠大数据算力中心的会吃亏而已，短期我觉得大家会不再竞争跟狂买。 但是会开始深化，跟缩小，加速软体架构迭代。 底下比较偏技术，可以不看。 有别於欧美一堆AI模型是从零，训练到有，DS要白话一点类比的话就是，先拿 别人训练好的开源武功秘笈，针对这些资料及做特化的批注，精炼一批更准确的 资料，(参考书)，然後透过MOE，把大模型拆出很多分门别类地专攻模型，然後开始 不停地自己做模拟考，也使用知识蒸馏，去浓缩跟自我训练解题，经过精练的考前题库 模拟考，让他在回答问题的时候更得心应手，而且他的思维链的步骤也经过标记。 一般LLM是接龙这个大家应该都知道了，transfermer 多头注意力，就专门在处理这个。 DS做法是，他把可能的接下去的词语都先预设起来，他在处理的时候就可以不用全载入 记忆体跟从头来过，多头潜在注意力，还有针对问题，丢给适合的MODEL去解。 加上他有针对性的优化不是每次都是用FP32精度下去做，可见 它们真的走土炮路线而且有能力做了不少次优化，选择最有效的去运用它们手上有的算力 这一堆架构设计微调，其实都不是太难，比较难地的是思路，当你是算力富翁的时候 你不会想要做这些事情，因为这要反覆折磨自己，但是当你只有有限的资源，你就会去 想各种奇技淫巧，这点真的是很亚洲，有种熟悉感XD 川普说得很好，给美国的AI圈一记当头棒喝。 这个模式成功，大型AI数据中心就会慢慢成为过去，不再那麽重要，本地化个人化 将会来临，对软体来说有硬底子技术的人才，会更抢手，专注做ETL的资料工程师 会崛起，对硬体来说，DIGITS，jetson算是领先，有集成式，可以做得又快又好的 OEM,JDM,EMS 会大大地好。 你不能说他不厉害，他很有趣。 然後对於言论审查，我只能说今天这个软体架构的思路大於他模型本身跟公司的价值 孔雀开屏的时候不要被教育成只看他的屁眼，而忘记她美丽的羽翼。 p.s.我自己是用一张 4070ti 跑14b 会比线上gpt快，我问她我一般工作 回应良好，我是软体工程师。我很期待其他间用这个思路下去改造它们自己的开源模型 -- WHY SO SERIOUS??? --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.243.113.179 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738084990.A.310.html ※ 编辑: neo5277 (111.243.113.179 台湾), 01/29/2025 01:24:07 ※ 编辑: neo5277 (111.243.113.179 台湾), 01/29/2025 01:25:36 ※ 编辑: neo5277 (111.243.113.179 台湾), 01/29/2025 01:28:18 ※ 编辑: neo5277 (111.243.113.179 台湾), 01/29/2025 01:39:57 有阿我有讲那些可能会好喔 ※ 编辑: neo5277 (111.243.113.179 台湾), 01/29/2025 02:11:12