没有要ㄉ一ㄤ谁的意思 就是这benchmark到底存不存在 小弟我相信 这一定是有论文的 找了一下 还真的有 https://arxiv.org/html/2501.16857v1 以下为AI翻译 并由我这个人脑节录： 1. 在本研究中，我们使用 GPT-4（OpenAI 於 2024 年 4 月前两周提供的版本）作为代表 性 LLM，针对 LLM 与人类生成的 Python 程式码，在各项效能指标上进行比较。 2. 该研究采用包含 72 项 Python 编码任务的基准数据集，这些任务涵盖了来自先前研究 [7]的各种软体工程问题。一位具有软体开发经验的计算机专业大四学生（人类程式设计 师）为这 72 项编码任务开发了程式码，同时使用 GPT-4（即 2024 年 4 月可用版本） 生成程式码样本，以产生对等的 LLM 输出。 3. 在编码标准评估中，Pylint 和 Radon 分析显示，虽然 LLM 生成与人工编写的程式码都 存在缺陷，但 LLM 更可能犯下可透过严格遵守编码标准来避免的错误。尽管程度较轻， 但研究中的 LLM（以及人类）有时会忽略编码风格和标准程序中的重要细节，这些细节对 於维护可读性和程式码品质至关重要。 4. 与人工生成的程式码相比，LLM 通常会产生具有更高循环复杂度的程式码。我们的结果表 明，LLM 倾向过度设计解决方案，这可能导致程式码更难维护，且在软体开发後期阶段更 容易出现错误。 5. LLM 生成的程式码在功能正确性测试中经常表现良好，证明了 LLMs 在自动化执行简单且 定义明确的编码任务上的实用性。相反地，在需要深厚领域专业知识或复杂问题解决能力 的任务中，人类程式设计师往往比 LLMs 表现更出色。 (编注：人类编写的程式码通过率为 54.9%，而 LLM 生成的程式码通过率达 87.3%) 要说这篇论文缺点是什麽的话 就是他只有一个大四学生当作人类基准 所以样本数非常不足 另外用的模型也是稍旧 欢迎质疑paper的人花钱花精力自己去做一次benchmark 学术界本来就是这样 总之结论大概就是: 就该文献的场景与数据来看 人类与LLM擅长的不同 优缺点不同 不过当手里只有锤子时，在某些人看起来，所有东西都像是钉子 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 84.17.34.45 (日本) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1760498398.A.055.html 你有阅读障碍吗? 我可没说这是SWE bench啊XD 他推文写「人类自己都没有benchmark」我就找一个人机对比的benchmark paper来举例罗 benchmark的方式又不只一种 重点是你今天到底是要比对人与模型的差异 还是要比对模型与模型的差异 所以我不知道你拘泥於单一观点想说明什麽 还是你也只会挥舞槌子而已 还有人与LLM比较benchmark的论文难写 估计就是实验难做&经费问题 用dataset去让各模型跑分比较更容易些 你觉得论文烂 论文作者至少还有实验精神 反而是某些人只会出一张嘴@@ ※ 编辑: SkankHunt42 (146.70.205.60 日本), 10/15/2025 17:11:45 我比较好奇DrTech是在哪高就 一定很内行 小弟不才 公司就卖卖显卡的上市公司而已 你待的公司一定很屌你职位一定很内行对吧 我觉得我上面已经说得很清楚了 为什麽这样的论文难找 就是经费问题 大部分学生连填问券抽奖做论文 参与的人都兴致缺缺了 首先你要找多少工程师？这些工程师要代表怎样的群体？ 要付你多少钱你才愿意抽空做题目只为了让人发论文？ 题目是否具有公平性能准确涵盖这些工程师的能力范围又不失偏颇？ SWE-bench是gold standard没错 但目前就是没有找到人类参与比较的数据 (甚至要怎麽比才有代表性都有问题) 我提这篇论文 是看过这篇论文觉得满有趣的 至少是一个方法 也可能我烂 我找不到好的论文 当我们在讨论有没有benchmark可以比较人类与LLM解决工程问题时 我确实拿了一篇不怎样的论文 虽然样本数只有一 但至少是一个实验、一个方向 不过我现在只看到一个巨婴躺在地上打滚 这不是SWE-bench~ 这不是SWE-bench~ 哇~~~~~ 哇~~~~ ToT 然後转头又要别人找论文 奇怪 现在网路打脸人的方式已经不是自己找到更好、更具参考价值的论文或数据 而是一直叫人举证 好像他是我指导教授还口委一样 他作为质疑者唯一的工作就是在推文里出一张嘴 这就是所谓的内行吗 ※ 编辑: SkankHunt42 (154.47.23.99 日本), 10/16/2025 12:32:55 我是对y的推文「是否存在对人类的benchmark」做出回应 考虑到这是在讨论LLM与人类性能的比较 所以我认为题目具体为 「是否存在於同时能同时评估LLM与人类解决工程问题的benchmark」 有没有这样的benchmark存在？ 答案是: 有 而该论文的题目来源是参考自: Y. Feng et al. (2023). ”Investigating Code Generation Performance of ChatGPT with Crowdsourcing Social Data,” in Proceedings of the IEEE 47th Annual Computers, Software, and Applications Conference (COMPSAC), Torino, Italy, pp. 876-885. 这是一篇被引用172次的的论文所用的dataset 72笔prompt的题目 dataset在这里: https://yunhefeng.me/research/Compsac_ChatGPT_Python_Prompt_Code/ 老实讲前一篇推文吵得那一串我根本没打算说服哪一方 我原文也讲了 人与LLM擅长的不同 在我看来这跟吵脚踏车跟机车哪个好差不多 那现在问题来了 这篇论文烂在哪？总要有个具体论述吧 除了我原文已经提到的人类样本数只有一以外 我好像找不到其他任何具体的批判 是对实验方法有具体的批判？ 还是对一篇被被引用172次的论文的dataset有具体的批判？ SWE-bench的题目数量有两千多笔 lite版有300道 不拿full 你拿lite 你要找好几个工程师去做300道题目 我只能讲这如果有这样的数据那还满屌的 我也很想看 不要讲300题 72道题目请板上各位年薪三百万的工程师 大家要怎样的条件才会用心写完 抽150元点卡或两百元711礼券好不好 就.... 脑袋能不能实际一点？ ※ 编辑: SkankHunt42 (146.70.205.140 日本), 10/16/2025 14:03:51 我其实比较纳闷 DrTech好歹是有博士学位的人 怎麽可能对这样的测验数据到底成本有多高一点概念都没有 我原本就只是针对到底有没有这样的benchmark方法存在 提出存在的事实 结果好像被他误解成我要参与他们无聊的笔战说服另一方 奇怪 我原文到底是哪里有选边站@@ 我是期望本板少数的博士能够PO出更优质的论文啦 这对DrTech应该不难 对吧 博士 ※ 编辑: SkankHunt42 (149.22.87.3 日本), 10/16/2025 17:37:13 所以我真的怀疑你有阅...唉 算了算了 继续ㄉㄧㄤ下去没完没了 整串下来我强调：人类与LLM各有优缺点 不管是我节录的论文内容 还是我做的总结 都是我原文就有的内容 就事实跟目前的数据 我看到的事实是"有些地方AI赢人类 有些地方人类赢AI" 这个事实有很难接受吗 你也不是不可能不知道吧 就"AI赢人类"这个问题的 怎样算赢？是要全盘辗压算赢吗？ 还是你们单就通过率讨论？那时间要不算进去评分的项目里？ 就.... 你不觉得这个你这个题目很抽象吗？ 我可以帮你整理一下时间顺序： 你批评我搞笑反串→我说你有阅读障碍→你说我外行→我说你巨婴 我觉得好像是你开第一枪的耶XD 我最开始的原文可是半个字都没提到你 在你们吵架的推文串我也只有发表一句无关紧要的干话 还是你在公司开会的时候 下属发表意见不合你意你也马上ㄉㄧㄤ: 你是在反串搞笑吗 不过这很正常啦 你在公司不可能这样酸下属 我在公司也不会这样呛同事 我欣赏你业界十几二十年的坚实经验、外加学历漂亮还是上市公司的主管，在本板也乐 於分享跟发表有价值的看法。但我觉得先开呛的人好像要有接受被呛的心理准备吧XD 我相信你应该不是那种自己动手还要求别人不能还手的流氓吧？ ※ 编辑: SkankHunt42 (155.2.216.14 日本), 10/17/2025 11:52:20