作者sxy67230 (charlesgg)
看板Tech_Job
標題Re: [新聞] 台灣人工智慧實驗室推解決方案 爭取「可
時間Fri Dec 6 21:23:51 2024
阿肥碼農阿肥啦！
12月開始準備放長假了。有時間說一下Federated LLM的一些東西好了，Federated Learnin
g for LLM大概22年就有零星的研究，不過比較有綜述寫得蠻好的主要是去年港科大的一篇F
ATE-LLM把整個脈絡跟方向做一個比較具體的說明然後他們提出他們的框架。
其實說白了就是分散式計算的架構，Edge端將梯度跟損失給中央計算完後再給邊緣端更新，
差別在於為了讓Edge端跟Server傳輸量減量所以使用了parameters efficient fine tuning
的方法只更新adapter/prompt的參數而已。
然後今年大概2月比較有名的就是上海交大提出的OpenFedLLM大概就是把DPO這種離線Prefer
ence Learning 方法用到Federated LLM上。主要還是RLHF太難做到Federated Learning 上
了，所以才取巧用DPO來結合聯邦學習。
不過真的說當前聯邦學習的缺陷就是真的使用到實務上依舊無法解決LLM的幻覺問題，而且
當前大模型為了產品穩定性每一輪的疊代更新都需要進行紅隊測試跟穩定性測試，這個其實
很難再Fed的架構上做到。Fed本質上就是為了隱私問題誕生的，但他必然會失去中心化的優
勢。
差不多4醬
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.9.122 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1733491433.A.E84.html
1F：→ DrTech : 跳針跳太大了吧，上篇是說trust，你在說privacy… 12/06 23:25
2F：→ DrTech : 然後最後跳針，保證資料privacy的訓練架構，對幻覺 12/06 23:27
3F：→ DrTech : 沒幫助。(又跳針，federated learning本來就跟是否 12/06 23:27
4F：→ DrTech : 幻覺無關)12/06 23:27
懶得科普這麼多，花個不到三分鐘隨手打的東西剩下有興趣懂的人自己去看Paper查資料就
好了啊：）新聞稿就說了是要做聯邦式GPT領域內懂得就懂了，Federated Learning 本來就
是GDPR法案下為了兼顧隱私和數據誕生出來的東西至於為啥說AILab說用這個可以讓LLM可信
任就是人家的說法了
※ 編輯: sxy67230 (36.228.9.122 臺灣), 12/07/2024 07:39:23