作者leicheong (睡魔)
看板Soft_Job
标题Re: [心得] token maximum
时间Sun Mar 1 18:05:54 2026
※ 引述《erspicu (.)》之铭言：
: 所以到底max应该设定多少比较适合?
借这个来抱怨一下.
正如我在之前稍微提过的, 我的公司已经全面转用 AI, 而且为了
不让外部的一些坏 coding 习惯污染 AI, 是用自己 code base train
的 AI model. (本公司不留能力不足的人, 而且一直都需要 code review
才可以 check-in 因此 code 的本身质素是没问题的)
随着超过2000位 dev同时使用 AI 来做 coding, 公司本身配置的资源
很快就开始不够用了. 写好了 prompt 提交时发现在排队 350位以外
是常事. 公司很快 (也花了一个月左右) 便批准了买更多的 VM, 但同时
也要求我们用 prompt improvement coach wizard 「改进」我们的 prompt.
结果他都要求我直接告诉 AI 需要修改那个档案. 这产生了两个问题:
首先, 如果我看错是那个档案出问题的话, 不管怎麽改还是没有效果.
然後, 如果我写 prompt 还是先 trace code 去找那个档案出问题的话, 比起
花时间写 prompt, 自己改比较快 (还不用排队)
最近我们也发现了 AI 写的 code 在需要和第三方对接的部份常出现
忽略明明已经写进了 rules.md 的限制, 因此需要回炉人手重做的事件.
说实在的, 用了 AI 後也没发现省了多少时间.
--
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 109.152.20.160 (英国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1772359557.A.F40.html
1F：推 HaHadog: 恭喜你 发现爲什麽在这里真的有开发经验的工程师喷那些AI 03/01 19:34
2F：→ HaHadog: 吹喷那麽凶了 这就是现在AI开发现实 至於那些说未来会进 03/01 19:34
3F：→ HaHadog: 步的 可能连现在语言模型的基础原理是什麽都不知道先吹再 03/01 19:34
4F：→ HaHadog: 说 03/01 19:34
5F：→ gtr22101361: ？？ 03/01 19:36
6F：推 tsairay: 从AI开发得利最大的是那些自有资料中心的大公司 03/01 19:43
7F：→ tsairay: 他们token多半是无限使用的,才能获益如此巨大 03/01 19:44
8F：推 ZielC: 但会不会就是因为本地模型，上下文容量与产token能力不足 03/01 21:47
9F：→ ZielC: ，才只能让他阅读部份的代码无法观察全局导致你文中的情境 03/01 21:47
10F：→ ZielC: ？当然本地化的保密需求是外部AI model永远无法满足的 03/01 21:47
11F：推 ZMTL: 我看下来这好像不是LLM的问题... 03/01 22:18
12F：→ ZMTL: 这个场景本身就已经只有顶尖Model的选择了，本地自训练的 03/01 22:20
13F：→ ZMTL: 就要先考虑推理能力落差，再来会2000个dev排队这是治理问题 03/01 22:20
14F：推 aspirev3: 0>1 AI很神 1>100真的就还好 专案越大人越多就越还好 03/01 22:39
15F：推 abc21086999: 人家脉络都说了，不就是不能用外面的吗 03/01 22:47
16F：→ abc21086999: 而且LLM做事情无视规则真的蛮常遇到的 03/01 22:47
17F：→ ZMTL: 我知道情境不能用外面啊，但不是那几个顶级的推理model就 03/01 23:08
18F：→ ZMTL: 不太适合拿来类比啊，能力真的有差 03/01 23:08
19F：推 gofigure: 蛤?自己train的model...这才是问题吧 03/02 07:47
20F：→ DrTech: 正常人用AI：AI比较快，比较好时才用AI。没比较好，比较快 03/02 08:49
21F：→ DrTech: 时，何必坚持用AI。这就跟早期没LLM时很多企业AI专案失败 03/02 08:49
22F：→ DrTech: 的原因一样，硬要什麽流程都用AI，结果没比较好。 03/02 08:49
23F：→ DrTech: 坏的coding习惯，要挡，何必训练模型才能挡。硬体资源不足 03/02 08:51
24F：→ DrTech: ，暂时解法，何必硬要从prompt解。比prompt调整更有效率的 03/02 08:51
25F：→ DrTech: 方法还很多。 03/02 08:51
26F：→ freeunixer: 你跑到英国去工作了?? 03/02 09:10
27F：推 askacis: 地端的 LLM 没那麽厉害，巨头的模型厉害有他的道理 03/02 10:29
28F：推 chita0258: 公司资源问题 Trial & Error是建立工作留的必经之路 03/02 10:58
29F：推 nfsong: 有没有可能你们公司的code品质不高 03/02 18:05
30F：→ rugia813: 用本地model来为云端顶级model下结论吗 03/02 20:24
31F：推 cowbadma5566: 地端model能力跟那几家的能力差非常多 无论理解和 03/03 00:51
32F：→ cowbadma5566: token量 03/03 00:51
33F：→ sarsman: 自己train的AI的问题通常是资料量不够，而不是资料品质 03/03 04:18
34F：推 louner: Model不够强 以及机器不够多 洒钱能有效解决 03/03 07:06
35F：推 louner: 之前也有试过local model能力跟Claude落差挺大的 虽然也 03/03 07:11
36F：→ louner: 跟我的agent orchestration写的不够好有关 但Claude就是 03/03 07:11
37F：→ louner: 够聪明到即使如此还是持续使用正确的工具 03/03 07:11
38F：推 GiPaPa: 地端也没关系 但是用自己CODE BASE TRAIN出来的肯定没用 03/03 13:58
39F：→ GiPaPa: 连涌现门槛都到不了 是能训练出什麽 03/03 13:59
40F：推 Romulus: 你们公司的全面AI好怪 真的好怪 03/03 15:36
41F：推 dream1124: 来，我跟你说现在争论AI的无限制回圈：1.有人抱怨难用 03/03 18:53
42F：→ dream1124: =>你没全信AI，只把它当顾问，你用网页版没套CLI，没搞 03/03 18:54
43F：→ dream1124: agent=>2.你做了，但还是有些问题，效率不如预期 => 03/03 18:55
44F：→ dream1124: 你没有完全信任他，你的组织没有全面AI Coding =>於是 03/03 18:55
45F：→ dream1124: 你们也做了，公司也全面推动，但有效能或表现问题=> 03/03 18:58
46F：→ dream1124: 你机器买不够多=>4. 你们也买了，但AI还是不能当人用=> 03/03 18:59
47F：→ dream1124: 都是你们没用大厂私有LLM的错=>6.有些公司於是也切了 03/03 19:00
48F：→ dream1124: =>6.遇到token限制问题=>谁叫你们不买最大或无限制方案 03/03 19:01
49F：→ dream1124: 讲来讲去都是在这几个点无限跳针，千错万错，错的绝对 03/03 19:02
50F：→ dream1124: 不是AI，也不是连原理都不很清楚就无条件「相信」AI 03/03 19:02
51F：→ dream1124: 可以真的当基层工程师来用的资深同事或中高层主管 03/03 19:03
52F：→ dream1124: 这就是这一两年最瞎的事情。本来它就只是工具，因此 03/03 19:05
53F：→ dream1124: 照理讲就是给大家用，但提供一定弹性不要强制大家怎麽 03/03 19:05
54F：→ dream1124: 做事，也不要毫无理由相信全交给AI必定没问题，有问题 03/03 19:06
55F：→ dream1124: 就一定是倒回去烧token算到对为止。有错必是人错， 03/03 19:07
56F：→ dream1124: 有延宕必是人类在扯AI後腿……别搞这些就没事了。 03/03 19:08
57F：→ gtr22101361: 人家公司都是coding能力很高的 当然是ai扯後腿 03/03 19:23
58F：推 ZMTL: AI又不会自己动自己布署自己，那能不能用在对的场合达成对的 03/03 21:33
59F：→ ZMTL: 目的不就是人的问题？美国都在用AI开打WW3了你在那边盲信AI 03/03 21:34
60F：推 flydeer: 要不要先试试云端大模型比较看看 03/04 07:57
61F：→ teddy: 地端模型有300B吗？ 03/04 09:08
62F：推 shadow0326: "不让外部的一些坏 coding 习惯污染 AI"这句话满怪的 03/04 14:11
63F：推 OBTea: 减少基层纯码农是大公司共识... 03/05 17:42