作者sustainer123 (溫水佳樹的兄長大人)
看板Soulace
標題ML大師請進
時間Mon Aug 31 18:46:33 2026
我做了一個改進
這改進會讓訓練時間接近×2.5吧
同epoch下 改進>baseline
但同訓練時間下 baseline>改進
這要怎麼說故事啊
我看現在越來越多用後者當標準
但我覺得同訓練時間 改進就不可能贏 因為欠擬合
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.60.100 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soulace/M.1788173196.A.8FD.html
1F:推 Wardyal: 我還以為是 Master Love 害我點進來 08/31 18:48
2F:→ sustainer123: 飛狗廚自重 08/31 18:49
3F:推 caat0808: 看看能不能證明baseline已經收斂 不能再變更好 08/31 18:52
4F:→ caat0808: 喔喔看到了 同epoch 08/31 18:52
5F:→ sustainer123: 理論上是該都訓到收斂 但訓到收斂的成本略高:(( 08/31 18:54
6F:→ sustainer123: 改進後的一個epoch就要8小 不過多node應該更快 08/31 18:55
7F:推 steven183: 說你目的是要找出最好的performance吧 08/31 19:08
8F:→ sustainer123: 好像是只能這樣說 08/31 19:10
9F:→ sustainer123: 我主要是怕被審稿人噴訓練時間不對等 08/31 19:10
10F:→ sustainer123: 改進可能只是花比較多時間所以表現更好 08/31 19:10
11F:推 steven183: 把縮短時間當未來展望 跟 證明baseline已經收斂了 把訓 08/31 19:15
12F:→ steven183: 練時間拉長也還是輸你的 ㄇ 08/31 19:15
13F:推 steven183: 或是再做一個lite版本 訓練時間可以跟baseline差不多 08/31 19:20
14F:→ steven183: 但表現贏 08/31 19:20
15F:→ sustainer123: 我本來實驗是做lite 但lite就 打不贏 同時間的話 08/31 19:23
16F:→ sustainer123: baseline能跑35epoch 改進版大概13個 08/31 19:23
17F:→ sustainer123: 感覺就還是乖乖把baseline訓到收斂時間 老實說有點 08/31 19:23
18F:→ sustainer123: 收斂跡象 08/31 19:23
19F:推 h0103661: 問AI 08/31 20:25