目前就在旁边吃瓜观望@@ 成本这种本就是用开源後的可以拿已有的模型去当辅助下降成本 最常见作法就是拿gpt-4o当judge或者当数据产生器 去精炼数据集 如果再没有gpt-4o 情况下 很多高质量资料去产生就花很钱 最经点例子就是LLaVa 一个博士班学生 用gpt-4o 去产生高质量多模态数158k 极小量数据集 用8xA100 1天时间 就干爆之前所有 多模态大模型 能打赢saleforce的一间大公司堆出来的多模态BLIP-2模型 这家伙精髓站就是在gpt-4模型巨人的肩膀上 资料的quality会影响大模型 而资料可以透过开源高质量模型去萃取 如果再套用COT 这些都可以继续进化 paper有些细节像是数据集这类如何精炼 反而可能会是一个重要一环 但大家都会藏这类细节 @@/ 2025现在大家都杀到LLM Agent去了 LLM刷模型任务分数热潮有点下降 大部分都跑去搞LLM决策部分 和COT (思考链) 多步骤分析任务 像是waymo自驾端对端的决策都搞了一个EMMA 用Gemini 去往上盖 (这时候自驾公司有自己的很强的LLM就很有用了 随手不负责预测亚麻zoox会拿自家 LLM或anthropic来搞end-2-end多模态) 然後LLM Agent如果要放在机器人和自驾 一定得on-device 因为云端延迟太慢 风险高 所以1B~4B这阵子的on-device模型 能力也在不断突破 所以on-device LLM不太会在是AI-PC 除非是属於私密资料等应用场景 而edge/on-devcie AI 可能突破点会在机器人 自驾的趋势之後会跟LLM走上同阵线 在某个时间点 等闭源LLM开始时 就是差不多AI模型 的尽头开始产业化 也许端对端LLM决策 可以强化视觉上标签数据不足 (不确定这点 但直觉上认为 思考练LLM Agent可以降低场景车用数据量..QQ 基於模型泛化能力) 这会给其他车厂追上特斯拉的机会 特斯拉自身的LLM可来自grok 而3D基础模型 foundation model 像是李飞飞的空间模型 有一定机会能帮助自驾 可以直接融合LLM 产生端对端多模态 而李飞飞又跟狗家走很近 所以想单赌个股 可以赌赌看狗家 -- 顺带一提 LLM Agent在写code部分越来越恶心了 强烈建议不要去当码农..QQ 机器人题材就是跟LLM Agent有关 只要注意谁能做LLM Agent软硬体部分就好 狗家的现在布局就是拿Gemini去疯狂盖各种下游任务: 自驾 AR眼镜 搜寻 多模态 语音 翻译 Youtube 广告 消费 地图 商家产品 这些多样性因为自家公司的资料特殊性 现在有点占上风 股点就是买Big 7 + 台积 @@/ ※ 引述《iaminnocent (人生无常)》之铭言： : 刚刚看FB，发现有个中国的作家对於Deepseek的作文水平感到惊讶，用了相同问题，以王家 : 卫的电影风格去撰写标题为人生何处不相逢的散文，来分别问CHATGPT-O1跟Deepseek-R1 : ChatGPT-O1: : https://i.imgur.com/T2jN9hZ.jpeg : Deepseek-R1: : https://i.imgur.com/IitIbR0.jpeg : 我是觉得Deepseek的回答好像有点纯堆砌王家卫的电影名台词的感觉，通篇王家卫感，但是 : 不知道在说甚麽 : ChatGPT 在最後有点出散文标题，内容也比较有切合标题 : 这应该可以当作两者的能力小比拼吧？ : -------- : 补： : 我也有用4O用相同问题问过，我觉得写得比O1跟R1还好 : https://i.imgur.com/7DN4Dz9.jpeg : 这满神奇的，O1应该是ChatGPT 最强的模型，但是写散文我觉得没有4O写得好 : -- :

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 125.228.63.38 (台湾) : ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1737858242.A.BEE.html : 推 s213092921 : 重点是Deepseek背後的成本只有ChatGPT的20分之1 01/26 10:34 : → iaminnocent : 确实，训练成本这件事情蛮令人讶异的，OpenAi也宣 01/26 10:41 : → iaminnocent : 布O3-mini将免费了 01/26 10:41 : → TaiwanUp : 如果不知道是台词 R1有故事感但无逻辑 结尾有蛇年感 01/26 10:44 : 推 breathair : 只代表对於演算法大科技也要花大钱挖人 01/26 10:45 : → breathair : 来搞了，算力的投资不会减少，不然等你 01/26 10:45 : → breathair : 演算法追上，算力又落後了怎办？ 01/26 10:45 : 推 strlen : r1实际用远不如抬面上的啦 只有评测吓人 无庸质疑 01/26 10:55 : → TaiwanUp : O1比较像没有人生经验学生写 可以再tune一段小故事 01/26 10:55 : → strlen : 但deepseek重点在它开源 还公开论文 好耶 作功德 谁 01/26 10:55 : → strlen : 不爱？载回来用免钱 改免钱的 中国人要作功德当然好 01/26 10:56 : → TaiwanUp : R1就每段都小故事 恐怕就是直接从剧本拼凑出来的 01/26 10:56 : 推 mamorui : pretrain的成本占总成本7-9成，R1是只管posttrain 01/26 10:58 : → mamorui : ，R1高成本会吓死人。 01/26 10:58 : 推 mamorui : 然後是DeepSeek-V3宣称557万，但strawberry几个r也 01/26 11:03 : → mamorui : 会错的跟其他一模一样， 如果pretrain全部自己的资 01/26 11:03 : → mamorui : 料怎麽会错 01/26 11:03 : 推 s213092921 : http://i.imgur.com/NWWWmUD.jpg 01/26 11:04 : 推 mamorui : 简单说，成本漂亮那就不要有那麽多别的模型的影子 01/26 11:07 : → mamorui : 。 01/26 11:07 : → iaminnocent : 其实楼上有点出问题，pretrain的预标数据集才是最 01/26 11:08 : → iaminnocent : 贵的，这些可能都是美国公司花大钱去做的 01/26 11:08 : → iaminnocent : pretrain资料集需要人工介入标记，这个东西贵松松 01/26 11:08 : 推 mamorui : 我没有说不能吹能力，但成本就夸张了，我想看的是D 01/26 11:11 : → mamorui : eepSeek从pretrain就是土法炼钢，那才叫真的没花这 01/26 11:11 : → mamorui : 麽多成本。 01/26 11:11 : 推 mamorui : 我没看那麽多文章，如果有人找到paper解释DeepSeek 01/26 11:16 : → mamorui : v3为什麽strawberry的r几个错的跟其他模型一模一 01/26 11:16 : → mamorui : 样是理所当然，而且预训练是很纯的资料（这家公司 01/26 11:16 : → mamorui : 自己收集的资料、没有借助其他LLM产生好资料 =》 01/26 11:16 : → mamorui : 准备好资料是预训练之常识） 01/26 11:16 : 推 y800122155 : 从Transformer到GPT到ChatGPT等LLM，不都是一直堆叠 01/26 11:16 : → y800122155 : 在前人的成果? 现在DS发表用RL训练不就只是换一种叠 01/26 11:16 : → y800122155 : 法? 自己要发布论文发布技术本来就是愿意给别人用让 01/26 11:16 : → y800122155 : 产业一起推进，在那边吵什麽别人在哪个阶段没花到钱 01/26 11:16 : → y800122155 : 不公平有啥意义? 01/26 11:16 : → mamorui : 做到上述两项，那我就真的给这家鼓掌 01/26 11:16 : 推 woker : 中国出产品走向是中低成本市场。没有一定要当顶尖 01/26 11:17 : → woker : 但cp值可能不错 01/26 11:17 : → icexice : deepseek的回答真的好王家卫XD 01/26 11:17 : → TaiwanUp : V3的排名还是差4o(11月版)较远 跟4o(五月版)较近 01/26 11:19 : 推 mamorui : 没说他们没花钱，重点前人pretrain花多少，嘲笑前 01/26 11:19 : → mamorui : 人砸大钱，DeepSeek应该pretrain的资料总该是全部 01/26 11:19 : → mamorui : 都自己的、没有用其他LLM生成的，有人要背书吗？ 01/26 11:19 : → TaiwanUp : 中低成本4o再开放一点权限给免费版就有了 01/26 11:20 : → mamorui : 有人要帮DeepSeek背书pretrain的资料准备吗 01/26 11:20 : 推 y800122155 : 所以是DS的工程师还是老板自己出来"嘲笑"吗? 现实就 01/26 11:24 : → y800122155 : 是如果别人能重现 DS R1，在算力巨大差异下可以直接 01/26 11:24 : → y800122155 : 加码做到 R10、R100、R1000，到时DS花的500万也是一 01/26 11:24 : → y800122155 : 样丢到水里 01/26 11:24 : 推 mamorui : 我们看的是总成本，只要找到证明背书pretrain，虽 01/26 11:24 : → mamorui : 然正确率差一点，这成本就真的是今年最神的，很简 01/26 11:24 : → mamorui : 单。 01/26 11:24 : → strlen : https://tinyurl.com/3dfs2j8k 杨立昆都说话了 这就 01/26 11:24 : → strlen : 站在前人肩膀上发展 但也开源没有藏 所以很棒 称赞 01/26 11:25 : → strlen : 成本怎麽样无所谓啦 他都要作功德了 一块成本都是赚 01/26 11:25 : → strlen : 阿祖就是号召大家AI都来作功德 变成今天这样很合理 01/26 11:26 : 推 mamorui : 是啊 我对於佛心没意见 XD 01/26 11:26 : → TaiwanUp : DS的预训练要用上微信用户聊天讯息 可能会比较霸气 01/26 11:26 : → strlen : 谁不晓得中国最厉害的就是魔改别人的东西？ 01/26 11:26 : → strlen : 但deepseek算有良心了公开魔改方法 过去一堆垃圾 偷 01/26 11:27 : → mamorui : 学术界是齐心讨论，可没酸前人 01/26 11:27 : → strlen : 人家的 营利就算了 还反告别人 嘻嘻 01/26 11:27 : → mamorui : 我都直接拿strawberry看是不是资料同源 XDDD 01/26 11:28 : → strlen : 老实讲 你有GPU有伺服 抓r1下来自己调一调开API 它 01/26 11:28 : → strlen : 也不能拿你怎样 这样还不好？ 01/26 11:28 : → jatj : 好啦 1/20 1/20 阿就比较烂啊 阿就买不到算力啊 01/26 11:29 : 推 mamorui : API就可以串接了 继续拿资料才是目的 01/26 11:29 : 推 mamorui : 开源的原因很好懂 我之前整合资料库 免费的最popul 01/26 11:31 : → mamorui : ar的Postgres会支援 其他免费的就再说 01/26 11:31 : → mamorui : 所以知道为什麽要开源码 市占是真的很重要 01/26 11:32 : → mamorui : 因为公司可以决定支援的顺序 01/26 11:32 : 推 wangm4a1 : 站在巨人肩膀上 科技正常现象 01/26 11:33 : 推 Enzofulgura : 看完觉得Deepseek比较懂得王家卫XD 01/26 11:39 : → iaminnocent : 但是文章内容跟标题完全没关系XDD 01/26 11:42 : → s860703 : 讲这麽多 美股续涨 01/26 11:49 : 推 tradeent : DeepSeek写得比较好 01/26 11:50 : → tradeent : http://i.imgur.com/c9C1WzU.jpg 01/26 11:50 : 推 Liberl : 股癌的台股美股电报群已经有很多大神分析过了 01/26 11:53 : → Liberl : 去那边看就好了 01/26 11:54 : → Liberl : 或是Miula的脸书也有讨论 01/26 11:54 : 推 toulio81 : 中国公司很多的低成本都是假象，要不就是用品质实 01/26 11:54 : → toulio81 : 际上无法稳定达标的产品充数，要不就是政府补贴导 01/26 11:54 : → toulio81 : 致的低成本，欧美无法学後者，而前者更是一条死路 01/26 11:54 : 推 tradeent : 请问楼上怎麽加电报群 01/26 11:55 : → iaminnocent : tradent大，因为我是限定用O1跟R1这两个来进行，如 01/26 11:56 : → iaminnocent : 果用4O跟V3，也会有不一样结果，这蛮特别的，我也 01/26 11:56 : → iaminnocent : 觉得4O写的比O1好 01/26 11:56 : → iaminnocent : 以下是4O写的，我反而觉得写得比O1还好 01/26 11:59 : → iaminnocent : https://i.imgur.com/7DN4Dz9.jpeg 01/26 11:59 : → iaminnocent : 最後那句「真好，人生何处不相逢」有震惊到我，这 01/26 11:59 : → iaminnocent : 个还是在O1之前我先用4O写的 01/26 11:59 : → iaminnocent : 但因为我想说要比较两个最强的，就以O1比R1，但是 01/26 12:00 : → iaminnocent : 我觉得写散文反而4O好於O1 01/26 12:00 : 推 mamorui : o1是推理型，以r1为例，我问r1不清楚的先问v3、再 01/26 12:01 : → mamorui : 启动r1，r1就突然知道了 01/26 12:01 : ※ 编辑: iaminnocent (125.228.63.38 台湾), 01/26/2025 12:02:48 : → iaminnocent : 得到结论，王家卫的文字用理论是不行的XD要用感情 01/26 12:04 : 推 mamorui : 如果是AGI，就不会有能力差异，表现如何是稳定的， 01/26 12:05 : → mamorui : 虽然还没有AGI。 现在看到LLM会出并存的系列，就当 01/26 12:05 : → mamorui : 做游戏角色各种族差异，要想好先用谁再用谁，AI的 01/26 12:05 : → mamorui : 思考跟记忆是仿人脑（非电脑），所以可以交错问。 01/26 12:05 : 推 mamorui : 像r1就是一定要推理，关掉才能切到V3 01/26 12:06 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1737868561.A.963.html 感觉都可以赌啊 狗家可以问TQQQ王 TSM还得看川普的心情吧@@? ※ 编辑: LDPC (76.21.72.78 美国), 01/26/2025 13:36:02 https://reurl.cc/Q5gdNO QQ BIG5会用裁员降数据中心成本(扣掉老黄果家) 所以帐面上还是很好看 据说接下来一个月内 麻家软家会开始砍人 阿祖是用intense of year 来卷走人力 ※ 编辑: LDPC (76.21.72.78 美国), 01/26/2025 14:12:37