※ 引述《xross (xross)》之铭言： : AI 比你想得有料 : Andrej Karpathy 自己都说他自己大部分时间都靠 AI 生 code 了 : https://karpathy.medium.com/software-2-0-a64152b37c35 : 这篇老文章就有说 : 空间时间复杂度?? 可以吃吗 : Software 2.0 告诉我们 : Constant running time : Constant memory use : 内文也提到 : 人类智慧结晶 搞出来的 cache-optimized B-Trees 直接被 AI 干翻 : (版上卧虎藏龙 手鲁industry-ready-B-Tree的高手可以出来呛一下吗?) : "outperforming cache-optimized B-Trees by up to 70% in speed while saving an : order-of-magnitude in memory." : 这让我想到 DLSS 也是藉由 AI/DL 直接做到以前一堆专家搞出来的upscale + AA根本 : 到不了的好效果 : 说了这麽多 : 希望能尽快看到 官方 PTT app : 目前可能 AI 还在学习怎麽写 下班前看到就认真回覆一下， 先说你有点搞错Karpathy所谓的Software 2.0了，Software 2.0也不是什麽很新的概念。 他的概念就是过往我们使用从底层打包上来的Library来显式开发API为Software 1.0，而 2.0则是只有定义数据集，定义神经网路框架跟训练，最後将网路编写成二进制透过工业 化流水线软体平台部署。 不过有一个很大的前提，「定义搜索空间跟优化方向」，这个神经网路优化方向是需要人 工来定义的，这边其实前几年AlphaTensor就有做出实验，直接透过强化学习去找矩阵乘 法的最佳解，结果确实找到了一组可以应用的比原本最佳矩阵乘法快了20%的解。 定义目标的依旧是电脑科学家/工程师，不是说什麽老板/PM啊，你去跟老板/PM讲解Low r ank tensor decomposition ，他只会跟你说听不懂。 其实Software 2.0就是现在我们在做的深度学习/LLM这件事情，理论上有可能让一个够大 的模型来解决一切的问题，让神经网路包覆整个底层软体。如果要做一个复杂功能就直接 给两个Software 2.0模组组合去一起做反向传播优化，然後就可以去配适到我们的开发任 务上，只是那个结果我们可能很难解释他(90%的ACC不一定代表能够fit到所有未知的数据 上)。 如果模型参数量不够大还是会有No free lunch的问题，所以未来很长一段时间依旧是会 有神经网路搭配显式编程的方式持续，Karpathy後面也有提出Software 2.0的限制，不是 绝对乐观看待的。 以上 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.6.129 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1685441687.A.A94.html ※ 编辑: sxy67230 (101.10.6.129 台湾), 05/30/2023 18:15:17 ※ 编辑: sxy67230 (101.10.6.129 台湾), 05/30/2023 18:15:36 就只是low rank decomposition矩阵扩张成三维而已，大学线代有认真上课看一下就懂了 ，模型只是我们把已经知道的算法透过神经网路跟强化学习做空间搜索而已 ※ 编辑: sxy67230 (101.10.6.129 台湾), 05/30/2023 19:00:28 ※ 编辑: sxy67230 (101.10.6.129 台湾), 05/30/2023 19:00:54 ※ 编辑: sxy67230 (101.10.6.129 台湾), 05/31/2023 08:11:27