作者leicheong (睡魔)
看板Soft_Job
標題Re: [心得] token maximum
時間Sun Mar 1 18:05:54 2026
※ 引述《erspicu (.)》之銘言：
: 所以到底max應該設定多少比較適合?
借這個來抱怨一下.
正如我在之前稍微提過的, 我的公司已經全面轉用 AI, 而且為了
不讓外部的一些壞 coding 習慣污染 AI, 是用自己 code base train
的 AI model. (本公司不留能力不足的人, 而且一直都需要 code review
才可以 check-in 因此 code 的本身質素是沒問題的)
隨著超過2000位 dev同時使用 AI 來做 coding, 公司本身配置的資源
很快就開始不夠用了. 寫好了 prompt 提交時發現在排隊 350位以外
是常事. 公司很快 (也花了一個月左右) 便批准了買更多的 VM, 但同時
也要求我們用 prompt improvement coach wizard 「改進」我們的 prompt.
結果他都要求我直接告訴 AI 需要修改那個檔案. 這產生了兩個問題:
首先, 如果我看錯是那個檔案出問題的話, 不管怎麼改還是沒有效果.
然後, 如果我寫 prompt 還是先 trace code 去找那個檔案出問題的話, 比起
花時間寫 prompt, 自己改比較快 (還不用排隊)
最近我們也發現了 AI 寫的 code 在需要和第三方對接的部份常出現
忽略明明已經寫進了 rules.md 的限制, 因此需要回爐人手重做的事件.
說實在的, 用了 AI 後也沒發現省了多少時間.
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 109.152.20.160 (英國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1772359557.A.F40.html
1F：推 HaHadog: 恭喜你 發現爲什麼在這裡真的有開發經驗的工程師噴那些AI 03/01 19:34
2F：→ HaHadog: 吹噴那麼兇了 這就是現在AI開發現實 至於那些說未來會進 03/01 19:34
3F：→ HaHadog: 步的 可能連現在語言模型的基礎原理是什麼都不知道先吹再 03/01 19:34
4F：→ HaHadog: 說 03/01 19:34
5F：→ gtr22101361: ？？ 03/01 19:36
6F：推 tsairay: 從AI開發得利最大的是那些自有資料中心的大公司 03/01 19:43
7F：→ tsairay: 他們token多半是無限使用的,才能獲益如此巨大 03/01 19:44
8F：推 ZielC: 但會不會就是因為本地模型，上下文容量與產token能力不足 03/01 21:47
9F：→ ZielC: ，才只能讓他閱讀部份的代碼無法觀察全局導致你文中的情境 03/01 21:47
10F：→ ZielC: ？當然本地化的保密需求是外部AI model永遠無法滿足的 03/01 21:47
11F：推 ZMTL: 我看下來這好像不是LLM的問題... 03/01 22:18
12F：→ ZMTL: 這個場景本身就已經只有頂尖Model的選擇了，本地自訓練的 03/01 22:20
13F：→ ZMTL: 就要先考慮推理能力落差，再來會2000個dev排隊這是治理問題 03/01 22:20
14F：推 aspirev3: 0>1 AI很神 1>100真的就還好 專案越大人越多就越還好 03/01 22:39
15F：推 abc21086999: 人家脈絡都說了，不就是不能用外面的嗎 03/01 22:47
16F：→ abc21086999: 而且LLM做事情無視規則真的蠻常遇到的 03/01 22:47
17F：→ ZMTL: 我知道情境不能用外面啊，但不是那幾個頂級的推理model就 03/01 23:08
18F：→ ZMTL: 不太適合拿來類比啊，能力真的有差 03/01 23:08
19F：推 gofigure: 蛤?自己train的model...這才是問題吧 03/02 07:47
20F：→ DrTech: 正常人用AI：AI比較快，比較好時才用AI。沒比較好，比較快 03/02 08:49
21F：→ DrTech: 時，何必堅持用AI。這就跟早期沒LLM時很多企業AI專案失敗 03/02 08:49
22F：→ DrTech: 的原因一樣，硬要什麼流程都用AI，結果沒比較好。 03/02 08:49
23F：→ DrTech: 壞的coding習慣，要擋，何必訓練模型才能擋。硬體資源不足 03/02 08:51
24F：→ DrTech: ，暫時解法，何必硬要從prompt解。比prompt調整更有效率的 03/02 08:51
25F：→ DrTech: 方法還很多。 03/02 08:51
26F：→ freeunixer: 你跑到英國去工作了?? 03/02 09:10
27F：推 askacis: 地端的 LLM 沒那麼厲害，巨頭的模型厲害有他的道理 03/02 10:29
28F：推 chita0258: 公司資源問題 Trial & Error是建立工作留的必經之路 03/02 10:58
29F：推 nfsong: 有沒有可能你們公司的code品質不高 03/02 18:05
30F：→ rugia813: 用本地model來為雲端頂級model下結論嗎 03/02 20:24
31F：推 cowbadma5566: 地端model能力跟那幾家的能力差非常多 無論理解和 03/03 00:51
32F：→ cowbadma5566: token量 03/03 00:51
33F：→ sarsman: 自己train的AI的問題通常是資料量不夠，而不是資料品質 03/03 04:18
34F：推 louner: Model不夠強 以及機器不夠多 灑錢能有效解決 03/03 07:06
35F：推 louner: 之前也有試過local model能力跟Claude落差挺大的 雖然也 03/03 07:11
36F：→ louner: 跟我的agent orchestration寫的不夠好有關 但Claude就是 03/03 07:11
37F：→ louner: 夠聰明到即使如此還是持續使用正確的工具 03/03 07:11
38F：推 GiPaPa: 地端也沒關係 但是用自己CODE BASE TRAIN出來的肯定沒用 03/03 13:58
39F：→ GiPaPa: 連湧現門檻都到不了 是能訓練出什麼 03/03 13:59
40F：推 Romulus: 你們公司的全面AI好怪 真的好怪 03/03 15:36
41F：推 dream1124: 來，我跟你說現在爭論AI的無限制迴圈：1.有人抱怨難用 03/03 18:53
42F：→ dream1124: =>你沒全信AI，只把它當顧問，你用網頁版沒套CLI，沒搞 03/03 18:54
43F：→ dream1124: agent=>2.你做了，但還是有些問題，效率不如預期 => 03/03 18:55
44F：→ dream1124: 你沒有完全信任他，你的組織沒有全面AI Coding =>於是 03/03 18:55
45F：→ dream1124: 你們也做了，公司也全面推動，但有效能或表現問題=> 03/03 18:58
46F：→ dream1124: 你機器買不夠多=>4. 你們也買了，但AI還是不能當人用=> 03/03 18:59
47F：→ dream1124: 都是你們沒用大廠私有LLM的錯=>6.有些公司於是也切了 03/03 19:00
48F：→ dream1124: =>6.遇到token限制問題=>誰叫你們不買最大或無限制方案 03/03 19:01
49F：→ dream1124: 講來講去都是在這幾個點無限跳針，千錯萬錯，錯的絕對 03/03 19:02
50F：→ dream1124: 不是AI，也不是連原理都不很清楚就無條件「相信」AI 03/03 19:02
51F：→ dream1124: 可以真的當基層工程師來用的資深同事或中高層主管 03/03 19:03
52F：→ dream1124: 這就是這一兩年最瞎的事情。本來它就只是工具，因此 03/03 19:05
53F：→ dream1124: 照理講就是給大家用，但提供一定彈性不要強制大家怎麼 03/03 19:05
54F：→ dream1124: 做事，也不要毫無理由相信全交給AI必定沒問題，有問題 03/03 19:06
55F：→ dream1124: 就一定是倒回去燒token算到對為止。有錯必是人錯， 03/03 19:07
56F：→ dream1124: 有延宕必是人類在扯AI後腿……別搞這些就沒事了。 03/03 19:08
57F：→ gtr22101361: 人家公司都是coding能力很高的 當然是ai扯後腿 03/03 19:23
58F：推 ZMTL: AI又不會自己動自己佈署自己，那能不能用在對的場合達成對的 03/03 21:33
59F：→ ZMTL: 目的不就是人的問題？美國都在用AI開打WW3了你在那邊盲信AI 03/03 21:34
60F：推 flydeer: 要不要先試試雲端大模型比較看看 03/04 07:57
61F：→ teddy: 地端模型有300B嗎？ 03/04 09:08
62F：推 shadow0326: "不讓外部的一些壞 coding 習慣污染 AI"這句話滿怪的 03/04 14:11
63F：推 OBTea: 減少基層純碼農是大公司共識... 03/05 17:42