虽然这版是投资版，但是我觉得技术问题，还是先跟投资切开来比较好一点。 昨天还是前天也在八卦回了一篇，内容应该差不多。 这篇可尽可能精准一点。 首先呢，AI这个领域的底层，就是计算大家都已经知道了。 这几年分析师说烂的LLM，全名是大型语言模型，基本上最基本款是利用 机器学习演算法，一个单元一个单元组成神经网络的变形决策树。 LLM，只是他的一小部分应用，根据问题的不同，去设计不同演算法，整理不同资料 做ETL，又对於transfermer 这个特殊模型模式来去做预先训练来产出，基本上撇除掉 MOE多专家模型，还有多模态的版本，他真的就是一个很强的计算机器然後拿来做 文字接龙跟翻译，如果没有其他喂养的"知识"，他回答的就有局限性，可以自己去拉 其他台湾几间的模型玩玩，而文字这块，因为透过字词嵌入转向量的技术让电脑可以计算 理解，跟去求余弦，让模型对於聚类，有更好的效果。 一样的过程，你可以，将任何连续的异质资料，根据这个路径，喂养给这後面的演算法 神经网路，经过大量的时间，大量的资料，大量的能源消耗会有一个初步结果。 你再去微调，他的确可以解决很多问题，取代很多人力，但他需要烧钱，烧时间。 接下来的东西就跟本版有关系了，我可以直接拿我八卦的文来剪贴。 "理想很丰满，现实很骨感，infra贵，订阅现金流没有多少长进。 都还在吹，还在想拉货，当董事会跟股东看不到钱，CEO能挺住做决策多久? "LLM"目前真实应用场景薄弱，你要享受AI模型优点，需要针对你的应用情境 特制，特殊资料ETL，特殊训练，训练成效跟时间，资料量，成本成正比。 除了to B 没多少人可以享受到这种边际效应，再来换一种需求你要重新设计模型 验证，训练，SLM的模型，可以多元集群，一般人可用，只是就像丢一个低配版贾维斯 给你，不是每个人都需要，大部分最终只会变成，聪明一点的SIRI，跟生成软体。 这点现在openai就做得不错了，也不是一定要绑在阿婆手机上。 这个世界情势看下去，这些新出来的AI模型最後的发展跟落地最有办法回本的领域。 就是战争武器，很多已经开始做了，数位孪生，除了可以模拟工厂还可以用来模拟跟训练 啥，又是高收益的其实很明显。 顺跑单独一个7B模型，大概一张4070ti 12g .64g ram 13700k可以很顺了 但你要跑70b 大概要四张以上，你要跑MOE 多专家版本又要更高，你要多模态 还要再更高，toB的商务需求，短期有，长期效应没有出来的话，比较难会有单。 成本效益有多少，真的很难说，我只能说最近很多时候是RD被逼着去生更多应用出来 但是仅靠LLM，是做不了多应用的，LLM只是一个这世代AI很好的广告而已。 AI这局要延续，只能靠机器人，机器人不可能大台装一堆显卡，散热又不好，能源也 不够。这边唯一方法就是走边际运算，所以通讯跟边际运算，还有制造机器人的能力 ，再来就是仿生，生物界是最好学习的对象，如此高效低耗能，你写code跟ai互动做的 很多事情在台湾，请工读生或是美编，或是贵一点的美编跟外包就完成了。 现实就是这样，如果，再没有新东西出来，美国选举效应完大家就一起面对真实世界。" 注意，上面说的应用场景薄弱，是LLM的部分，因应其他需求去设计开发的模型都不 在此列，上面几篇回文，也有几位点到问题，这资本开支，还有获益周期，目前不成 正比，也没有办法雨露均沾，你看到皮衣刀客马上推数位孪生，机器人就知道了。 以目前来说，最有可能的，不那麽暴力的领域，就是文内提到的 边际运算，以後可能是小模型取代各种，本来的韧体演算法，烧上去 这边第一个遇见就是，记忆体容量问题，还有算力问题，模型领域针对这种问题 有几种解法，知识蒸馏，模型合并，还有量化(将本来大量浮点数计算转成整数计算) 会有能力耗损但是，对算力可以不太要求，这样用晶片来集群的整个丛集装置。 体积尚可，会出现专门NPU来做矩阵计算，散热也比较好处理，能源消耗更低。 也跟上文提到的一样，在这种client server 体制，或是边际运算体制。 通讯，就是一件很重要的事情，我对AI是很看好，但是在商言商，没人想做赔钱生意。 也没有几间，特别是股东制的公司会一直对看不到现金流的投资say yes 。 八卦底下有一个推文我觉得满有sense 的我也是抱持这个想法。 AI 包含软体的模型，其实就跟当年的网路一样，他是一个infrastructure 基本上是长期投资，适合大厂跟国家去布建的东西， .com 到我们离不开网路 过了8~10年左右，他的价值才真正凸显出来，後续的效应跟市场才起来。 现在不过是又重现一次而已，但是人生有几个8~10年呢?，这三四年的热钱 就是跟各种泡沫一样摧枯拉朽，AI有问题吗? 看你从哪个角度来看 其实，模型要训练到可商业运用，难在配合解决的问题去反覆设计跟训练微调，还有 做训练资料整理，这真的要大量的时间跟金钱，还有脑力。但偏偏这是现实世界上最缺 的，然後真正有意义的模型，中小型参数，就玩具，做成丛集，要靠财力。 70b 开始一般人基本玩不起，llama405b 这种几千万的机器是基本，然後训练想要 达成的应用，除非是研究型，不然真得就是不如请人类做来的省钱。 我想版上应该也有很多理工生科研究型的，以前应该都会有要种仪器只有几台 实验室只有两间，你要做你的研究，就是排队吧，等申请。 目前可花钱投入的大厂，跟研究型的尚且如此，一般商业除非有经验证，可行的利基模式 不然我想没几个会花钱真正洗下去做。 你说云端御三家没有开放给企业订制吗? 有阿 N家自己也下来做啊 卖不好啊 你没有确定方向，跟做法还有利基之前，这个研发成本可是用烧的，一旦弄下去 花钱反正可以列成研发经费，资本开支，但是最後有没有东西端出来才是问题。 你说要做自然语言，管理後台，查询，什麽的，这个现在都做得出来。 我自己工作也在做这种，应用开发。 但是我们自己觉得满鸡肋的。 你要做aml 也很可以啊，但是很抱歉，用llm为主的模型效果一定不会太好 要从根开始重新挖开设计，跟定义资料集下去重新训练，有新样态，在继续累积然後 微调，微调也是一个坑，你资料量不够大，就像一颗石头，丢进太平洋。没啥用 但也不要这麽灰心，各位在AI上花的$都位我们後代子孙建立起更好的社会。 大概就是这样，总结一下，前期资本投资太多，短期看不到成效，消费市场不确定。 本来应该是基建的被炒成很高，真的跟思科很像，不能说一模一样，但是真的很像。 但你要说他不好吗? 现在哪间公司机房没有思科? -- WHY SO SERIOUS??? --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.243.100.32 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1722629277.A.6EA.html ※ 编辑: neo5277 (111.243.100.32 台湾), 08/03/2024 04:13:12 ※ 编辑: neo5277 (111.243.100.32 台湾), 08/03/2024 04:16:02 没有不好啊，看台湾有没有办法吃到後续产业链生意阿 ※ 编辑: neo5277 (1.162.163.74 台湾), 08/03/2024 04:20:37 研发是个变数，因为你不知道他会不会单点突破，openai跟google就是好例子，逼得人家 觉得成本效益不符人家就会放弃，除非你是google,烧不完，对内要说服元老院跟股东继 续投资支持股价都要有东西出来，CEO很重要 啊，他是属於管理型，还是进取型，还有是不是公司吉祥物，这些都是参数，当然也有玩 脱的，贾伯斯就是。 这个有点大哉问，对自动驾驶有没有帮助 一定有，但是台湾会不会有？ 可能只有重划区吧，要普及应该是因地而异 ※ 编辑: neo5277 (1.162.163.74 台湾), 08/03/2024 05:08:40 ※ 编辑: neo5277 (1.162.163.74 台湾), 08/03/2024 05:10:17 训练侦测是一件事，反应速度整合是一件事情，大陆那个也是有人在监督的 自己体验是现在特斯拉的车，侦测已经是会把周遭的东西很形象的辨识进去，但是操作就 不知道台湾也没办法试，之前加州实验似乎小意外被叫停下了。 ※ 编辑: neo5277 (1.162.163.74 台湾), 08/03/2024 05:25:04 这中国有类似的，还不完美 ※ 编辑: neo5277 (1.162.163.74 台湾), 08/03/2024 05:26:20 一人公司或是家天下可以，在国外就看CEO 罗 ※ 编辑: neo5277 (1.162.163.74 台湾), 08/03/2024 05:34:56 想要左侧的话，我都觉得很好啊 每个人接受的价位不同以我目前来说，这里做左侧，我觉得太高了。 ※ 编辑: neo5277 (1.162.163.74 台湾), 08/03/2024 13:02:52