作者AmosYang (twy30)
看板Soft_Job
标题Re: [讨论] 大家会担心 ai 写 code 让工程师饭碗不
时间Sat Nov 2 10:14:10 2024
※ 引述《angus850503 (安格斯)》之铭言：
: 不过之前就一直对生成式 AI 有个疑问
: 就是"幻觉"到底有没有根本上的解决方法?
目前还没人能证明「有」，也还没人能证明「没有」。
有兴趣的话可以追踪这个「 LLM 幻觉排行榜」：
*
https://github.com/vectara/hallucination-leaderboard/
* HN 相关讨论：
https://news.ycombinator.com/item?id=38286761
有兴趣可以翻翻这排行榜的 Git 历史，看看各 LLM 的进化历程。然而，这排行
榜的评监方式也是公开的，各 LLM 也有可能 (不自觉地) 针对这类评监方式去优
化，所以这些资料只能做为参考。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 136.61.16.51 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1730513653.A.0A9.html
1F：→ angus850503: Cool 感谢提供网站 11/02 10:23
2F：推 shortoneal: 竟然还有这种榜 11/02 19:21
3F：推 abc21086999: 我记得昨天才在Reddit上面的OpenAI AMA串看到谁回覆 11/03 01:42
4F：→ abc21086999: 说幻觉很难解决，因为人类也是有同样的状况 11/03 01:42
5F：推 gino0717: 云观众也是一种幻觉 11/03 01:46
*感觉上* pattern recognition/matching 的低垂水果已经摘得差不多了；就看资
本/信仰能不能撑到下一个突破口，例如：
Detecting hallucinations in large language models using semantic entropy
https://news.ycombinator.com/item?id=40769496
※ 编辑: AmosYang (136.61.16.51 美国), 11/03/2024 04:44:24
7F：推 angus850503: 这就是我想询问的 幻觉没解决 AI的下一步到底在哪 11/03 13:30
8F：→ DrTech: 幻觉为什麽一定要解决才能做AI产生生产力？不用解决也可以 11/03 15:41
9F：→ DrTech: 啊。不是所有任务都要靠LLM生成不可靠的资讯。例如很多人 11/03 15:41
10F：→ DrTech: 做RAG+QA问答，都无脑用搜候选结果，然後用LLM生成最後答 11/03 15:41
11F：→ DrTech: 案，当然一堆幻觉。架构上改成拿LLM当选择器，或限定next 11/03 15:41
12F：→ DrTech: tokens，只能输出选择1.2.3.4。在多个答案里面挑一个，最 11/03 15:41
13F：→ DrTech: 後靠程式输出完全没关键的答案。立刻解决幻觉问题。 11/03 15:41
14F：→ DrTech: LLM当特定task模组(不要拿来当最後输出结果),结合传统NLP 11/03 15:44
15F：→ DrTech: 各种解决方案，任何一个功能任务，都可以"完全没幻觉"，能 11/03 15:44
16F：→ DrTech: 力又比传统NLP强很多。 11/03 15:44
17F：推 neo5277: 楼上这个有专有名词叫做rerank 我开发系统时有设计 11/03 16:33
18F：推 Chinwei8562: 酷 11/04 14:22