有人对这块有研究或有兴趣的吗？ 我目前在摸Llamaindex跟Langchain，有想分享想讨论都很欢迎， 主旨都是在讨论怎麽让语言模型根据事实资料库做回应。 如果觉得这样讲很抽象，提供一份文件参考： https://reurl.cc/lDL47Y 是我用GPT翻译OpenAI官方Github文件的其中一篇，大家可以阅读看看。 节录- 为何搜寻比微调更好 GPT可以以两种方式学习知识： 透过模型权重（即，在训练集上微调模型） 透过模型输入（即，将知识插入到输入讯息中） 虽然微调可能看起来是更自然的选择——毕竟，透过数据训练是GPT学习所有其他知识的 方式——但我们通常不建议将它作为教导模型知识的方式。微调更适合教授专门的任务或 风格，对於事实记忆的可靠性较差。 作为类比，模型权重就像长期记忆。当你微调一个模型时，就像是为一周後的考试做准备 。当考试到来时，模型可能会忘记细节，或错误记忆它从未读过的事实。 相比之下，讯息输入就像短期记忆。当你将知识插入到一条讯息中时，就像是带着笔记参 加开卷考试。有了笔记在手，模型更可能得出正确的答案。 相对於微调，文本搜寻的一个缺点是每个模型都受到它一次能读多少文本的限制： 模型 最大文本长度 gpt-3.5-turbo 4,096 tokens (~5页) gpt-4 8,192 tokens (~10页) gpt-4-32k 32,768 tokens (~40页) 延续这个类比，你可以将模型想像成一个学生，尽管可能有书架上的教科书可供参考，但 他一次只能看几页笔记。 因此，为了建立一个能够利用大量文本回答问题的系统，我们建议使用搜寻-问答的方法。 -- AI_Art AI艺术与创作板 欢迎各方前来讨论AIGC创作与相关议题！ AI情报屋营业中 噗浪：https://www.plurk.com/Zaious IG ：https://www.instagram.com/zaious.design/ 日历：https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 60.250.61.231 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1684914563.A.70B.html