呃，這新聞是哪個平行時空新聞，當前一堆美國大學實驗室都已經成功用其他小型模型像ll ama或Qwen 復刻R1實驗了，而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更 長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用 deepseek的模型架構。 一堆知名的框架也開始嘗試復刻開源版的R1 Code，我覺得R1幾個比較可行的思路就是改用 了一些模板式的獎勵機制，這點是之前一些TTT或其他scaling time computing 沒嘗 試過的思路，一般像之前的Process reward model在構造的時候會需要人工標註加驗證器再 加樹搜索取樣出一堆推理步驟但R1直接給予一條很棒的思路就是你不必這樣做就直接RL下去 也不用做搜索了，關鍵在怎麼設計獎勵函數就好。然後GRPO的方法近一步減少了傳統PPO要 去算value function 的部分，確實省掉很多記憶體跟算力。但我覺得PPO的硬傷不好訓練還 是沒解掉，所以DS才改用拒絕採樣跟多段微調去弄檢查點避免模型跑偏。 我覺得依據這個思路過不久大家都可以復刻出自己的版本，很多開源模型也在動作，小規模 驗證也證明可行，那就可以scaling model跟data size就好了。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.115.66.147 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1738136010.A.EA4.html ※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 15:34:33 R1的技術文件有如實說他們是從Deepseek v3調過來的吧，openAI也是有在某次技術人員訪 談說o1是從4o調過來的（當前OpenAI最讓人詬病的就是o1連技術報告中的訓練方法都閉源） ，這點站在不錯的起點繼續做下去應該是整個LLM領域的共識，要完全從零是不太可能的。 不過你要說成本要從前一個模型開始算的那就不太合理了，像台灣很多實驗室自己調的語言 模型也是從llama這些基礎開始調的（你要用蒸餾說也沒什麼意見），這樣要把Meta訓練這 個模型的成本疊上去也是蠻怪的。但我這邊就單就R1的訓練方法討論確實他省去很多之前te st time computing的方法中需要一堆人工跟算力搜索的麻煩這個倒是無需質疑。至於訓練 數據集沒開源，我覺得這個畢竟是人家的智慧財需要經過公司許可吧？畢竟llama也沒開源 自己全部的訓練數據要要求一家私企去做這件事有點太苛刻了。我的想法還是技術上DS確實 值得令人誇讚，其他的就讓子彈飛一點吧。畢竟工程人員還是講技術比較務實，人家優秀的 地方本來就值得學習。 ※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 16:11:25 蒸餾不一定要有模型輸出完整機率分佈就是了，但是Deepseek真的有用GPT 4o或o1蒸餾還是 需要有關鍵模型大量輸出統計證據，不然當前都是猜測而已。僅憑很多人隨意測試是很難說 是真的有蒸餾的，畢竟LLM其實真的有心是很容易用Prompt變造出惡意虛假事實的（像先催 眠模型是chatGPT，然後再問他是誰，然後把結果截圖），還是一句話，讓子彈再飛一會兒 。 ※ 編輯: sxy67230 (223.118.50.65 香港), 01/30/2025 00:51:45