作者sxy67230 (charlesgg)
看板Tech_Job
标题Re: [新闻] 台湾人工智慧实验室推解决方案 争取「可
时间Fri Dec 6 21:23:51 2024
阿肥码农阿肥啦！
12月开始准备放长假了。有时间说一下Federated LLM的一些东西好了，Federated Learnin
g for LLM大概22年就有零星的研究，不过比较有综述写得蛮好的主要是去年港科大的一篇F
ATE-LLM把整个脉络跟方向做一个比较具体的说明然後他们提出他们的框架。
其实说白了就是分散式计算的架构，Edge端将梯度跟损失给中央计算完後再给边缘端更新，
差别在於为了让Edge端跟Server传输量减量所以使用了parameters efficient fine tuning
的方法只更新adapter/prompt的参数而已。
然後今年大概2月比较有名的就是上海交大提出的OpenFedLLM大概就是把DPO这种离线Prefer
ence Learning 方法用到Federated LLM上。主要还是RLHF太难做到Federated Learning 上
了，所以才取巧用DPO来结合联邦学习。
不过真的说当前联邦学习的缺陷就是真的使用到实务上依旧无法解决LLM的幻觉问题，而且
当前大模型为了产品稳定性每一轮的叠代更新都需要进行红队测试跟稳定性测试，这个其实
很难再Fed的架构上做到。Fed本质上就是为了隐私问题诞生的，但他必然会失去中心化的优
势。
差不多4酱
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.228.9.122 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1733491433.A.E84.html
1F：→ DrTech : 跳针跳太大了吧，上篇是说trust，你在说privacy… 12/06 23:25
2F：→ DrTech : 然後最後跳针，保证资料privacy的训练架构，对幻觉 12/06 23:27
3F：→ DrTech : 没帮助。(又跳针，federated learning本来就跟是否 12/06 23:27
4F：→ DrTech : 幻觉无关)12/06 23:27
懒得科普这麽多，花个不到三分钟随手打的东西剩下有兴趣懂的人自己去看Paper查资料就
好了啊：）新闻稿就说了是要做联邦式GPT领域内懂得就懂了，Federated Learning 本来就
是GDPR法案下为了兼顾隐私和数据诞生出来的东西至於为啥说AILab说用这个可以让LLM可信
任就是人家的说法了
※ 编辑: sxy67230 (36.228.9.122 台湾), 12/07/2024 07:39:23