作者chordate (にんきもの)
看板Military
标题[新闻] DOGE开发易出错AI「啃食」退伍军人事务部
时间Sat Jun 7 12:17:34 2025
原文来源:
https://tinyurl.com/3w4j6wpz
https://tinyurl.com/2528w6fv
原文摘要(Google Gemini机翻):
DOGE开发的易出错AI「啃食」退伍军人事务部的合约
川普政府准备今年取消退伍军人事务部(Department of Veterans Affairs, VA)的合约
时,官员们转向一位没有医疗保健或政府经验的软体工程师寻求指导。
这位为政府效率部(Department of Government Efficiency, DOGE)工作的工程师,迅
速建立了一个人工智慧工具,用来识别哪些私人公司的服务并非必要。
他将这些合约标记
为「可啃食」(MUNCHABLE)。
这段使用过时且廉价的 AI 模型编写的程式码,产生了明显错误的结果。例如,它错误地
判断合约的规模,经常误读并夸大其价值。它推断超过一千份合约各自价值 3400 万美元
,但实际上有些合约的金额却低至 3 万 5 千美元。
DOGE 的 AI 工具标记了两千多份合约为「可啃食」。目前尚不清楚有多少合约已被取消
或正在取消中——川普政府对 VA 合约的决定基本上是一个黑盒子。VA 使用承包商的原
因很多,包括支援医院、研究以及其他旨在照护患病退伍军人的服务。
VA 官员表示,他们总共取消了近 600 份合约。国会民主党人一直在向 VA 领导层施压,
要求提供已取消合约的具体细节,但未获成功。
我们已识别出 DOGE 清单上至少有二十多份合约已被取消。在已取消的合约中,有一份是
维护用於开发更好癌症治疗方法的基因测序设备的合约。另一份是支援 VA 研究计画的血
液样本分析合约。还有一份是提供额外工具来衡量和改进护士提供照护的合约。
ProPublica 从消息来源获得了这段程式码及其标记的合约,并将其分享给了六位 AI 和
采购专家。所有人都表示该程式码存在缺陷。许多人批评使用 AI 来指导 VA 预算削减的
概念,其中一人称其「问题非常严重」。
宾州大学(University of Pennsylvania)法律与政治学教授卡里.科利亚内塞(
Cary Coglianese)研究政府对人工智慧的应用和监管,他表示,通用型大型语言模型(
LLMs)的应用令他感到不安。「我认为现成的 LLMs 对於如此复杂且涉及广泛的事物来说
,可靠性不高。」他说。
由伊隆马斯克当时经营的 DOGE 所聘请的程式设计师,
萨希尔.拉文吉亚(Sahil Lavingia),承认程式码存在缺陷。
「我认为有错误发生了。」在 DOGE 工作了近两个月的拉文吉亚说。「我确信有错误发生
。错误总是会发生。我绝不会建议任何人执行我的程式码并照它说的去做。这就像《办公
室》(Office)那集,史蒂夫.卡瑞尔(Steve Carell)开车进湖里,因为 Google 地图
说开进湖里。不要开进湖里。」
尽管拉文吉亚以前曾谈论过他在 DOGE 的经历,但这是他的工作首次被详细审查,也是他
首次公开解释其过程,甚至详细到具体的程式码行。
拉文吉亚拥有近 15 年的软体工程师和企业家经验,但没有受过正式的 AI 训练。他曾在
Pinterest 短暂工作,之後创办了 Gumroad,这是一家小型电子商务公司,在 2015 年
几乎倒闭。他说:「我解雇了公司 75% 的员工——包括我许多最好的朋友。那真的很糟
糕。」根据他个人部落格上的一篇文章,拉文吉亚透过「用自动化流程取代所有手动流程
」来维持公司运营。
从 3 月 17 日开始工作到第二天编写工具,拉文吉亚并没有太多时间深入了解 VA 如何
处理退伍军人照护。然而,他自己公司的经验与川普政府的方向不谋而合,川普政府已在
政府各部门推广使用 AI,以简化运作并节省开支。
拉文吉亚表示,
川普 2 月的行政命令时间太短,该命令给予各机构 30 天的时间完
成合约和补助金的审查,无法手动完成这项工作。「那是不可能的——你有 9 万份合约
。」他说。「除非你编写一些程式码。但即使如此也行不通。」
在时间紧迫下,拉文吉亚表示他在上班的第二天就完成了他的合约啃食工具的第一个版本
——利用 AI 帮助他编写程式码。他告诉 ProPublica,然後他花了他的第一周时间将 VA
合约下载到他的笔记型电脑并进行分析。
VA 新闻秘书皮特.卡斯佩罗维奇(Pete Kasperowicz)在给 ProPublica 的声明中赞扬
了 DOGE 在审查合约方面的工作。他说:「据我们所知,这种审查以前从未进行过,但我
们很高兴能开创这个常识性的先例。」
他说,VA 正在审查其所有 7 万 6 千份合约,以确保每份合约都对退伍军人有利,并有
效利用纳税人的钱。他写道,取消或缩减合约规模的决定是在 VA 员工(包括机构合约专
家和高级职员)进行多次审查後作出的。
卡斯佩罗维奇表示,VA 不会取消提供退伍军人服务或机构本身无法在没有应急计画的情
况下完成的工作合约。他补充说,那些「浪费、重复或涉及 VA 有能力自行执行服务」的
合约通常将被终止。
川普政府官员表示,他们正在努力实现从 VA 近 50 万名员工中裁减约 8 万人的「目标
」。大多数员工在 VA 的 170 家医院和近 1200 家诊所之一工作。
VA 曾表示,为避免对退伍军人造成伤害,将避免削减直接影响照护的合约。
ProPublica 最近报导,该机构相对微小的削减已经危及退伍军人的照护。
VA 尚未解释它计划如何在同时将服务转移到内部(正如拉文吉亚的程式码所暗示的计画
)的同时裁减员工。
VA 内部许多人告诉 ProPublica,审查合约的过程如此不透明,他们甚至无法看到谁最终
决定取消特定合约。拉文吉亚说,一旦「啃食」脚本选定了一份合约清单,他就会将其交
给其他人,由他们决定要取消哪些合约,保留哪些合约。他说,没有任何合约是在「没有
人工审查」的情况下被终止的。
他说:「我只是把 [合约清单] 交给了 VA 员工。」「我基本上把『可啃食』的放在最上
面,然後其他合约放在下面。」
VA 工作人员告诉 ProPublica,今年早些时候,在拉文吉亚到任之前,当 DOGE 确定要取
消的合约时,员工有时只有很少的时间来证明保留该服务的合理性。一名员工回忆说,他
们只有几个小时的时间。这些工作人员要求不具名,因为他们担心向记者透露消息会丢失
工作。
根据一份早於拉文吉亚 AI 分析的内部电子邮件,工作人员必须在 255 个字符或更少字
数内回覆——略低於马斯克 X 社交媒体平台上的 280 个字符限制。
拉文吉亚表示,一旦他开始进行 DOGE 的合约分析,他就面临着技术限制。根据
ProPublica 谘询的专家说法,他的程式码产生的一些错误至少可以追溯到使用了 VA 提
供的旧版本 OpenAI 模型——这些模型无法解决复杂的任务。
此外,该工具的基础指令也存在严重缺陷。
记录显示,拉文吉亚程式设计的 AI 系统
,根据每份合约的前几页(大约前 2500 字)进行复杂的判断,而这些页面只包含简略的
摘要资讯。
华尔道.贾奎斯(Waldo Jaquith)曾是欧巴马政府任命的财政部 IT 合约主管,他说:
「人工智慧绝对不是适合这项工作的工具。」「人工智慧给出的答案看起来很有说服力,
但经常是错误的。需要有人类来做这项工作。」
拉文吉亚的提示中没有包含 VA 如何运作、哪些合约是必要的,或哪些合约是联邦法律要
求的上下文。这导致 AI 判断该机构自身合约采购系统的一个核心部分是「可啃食」的。
拉文吉亚提示的核心是指示保留涉及「直接病人护理」的合约。
专家表示,这种方法没有处理医生和护士在医院照护退伍军人的工作,只有在他们周围获
得大量支持的情况下才能实现的现实。
拉文吉亚的系统还使用人工智慧提取诸如合约编号和「合约总价值」之类的详细资讯。这
导致了可避免的错误,即当合约中有多个价值时,人工智慧会返回错误的金额。专家表示
,正确的资讯很容易从公共资料库中获得。
拉文吉亚承认这种方法确实产生了错误,但表示这些错误後来都由 VA 工作人员修正了。
拉文吉亚告诉 ProPublica,三月下旬,他在 GitHub 帐户上发布了「可啃食」脚本的一
个版本,邀请其他人使用和改进它。他说:「如果整个联邦政府都使用这个脚本,并且公
众都能看到 VA 是如何考虑削减合约的,那将会很酷。」
根据他部落格上的一篇文章,这是在马斯克离开 DOGE 之前获得其批准的。「当他问
大家如何改善 DOGE 的公共形象时,我问我是否可以开源我一直在写的程式码。」拉文吉
亚说。「他说可以——这符合 DOGE 最大限度透明的目标。」
这种开放性最终可能导致了拉文吉亚被解雇。
拉文吉亚证实,在接受《快公司》(Fast
Company)杂志关於他在该部门工作的采访後,他被 DOGE 解雇。VA 发言人拒绝对拉文吉
亚的解雇发表评论。
VA 官员拒绝透露他们是否会继续使用「可啃食」工具。但政府可能会部署 AI 来帮助该
机构替换员工。ProPublica 先前获得的文件显示,DOGE 官员在三月提议透过更多地依赖
AI 来整合福利申报部门。
政府承包商正在关注。拉文吉亚发布他的程式码後,他说他听说有人试图了解如何让资金
继续流动。
他说:「我收到了几封来自 VA 承包商的私人讯息,当他们看到这些程式码时,他们有一
些问题。」「他们正试图确保他们的合约不会被削减。或者了解为什麽会被削减。
「归根究底,人类才是终止合约的人,但对他们来说,了解 DOGE、川普或机构负责人如
何考虑他们要削减哪些合约是有帮助的。透明度是件好事。」
心得感想:
ProPublica的介绍可以看报导者这篇
https://www.twreporter.org/a/media-revolution-propublica
原文来源第二个连结中,有详细说明给OpenAI的prompt是怎麽写的
这是prompt开头部分
https://imgpoi.com/i/BOC65G.png
特别要杀DEI,但是又没给出DEI到底是什麽的定义,
结果几乎也没几个被AI标成是DEI合约的。
最让人感到哭笑不得的是,因为政府采购的OpenAI额度
每个文件只有2500token,大概10000个英文字母的量,
所以每份合约AI都大概只读了前面一小段就做判断
https://imgpoi.com/i/BOCJIB.png
(可以参考OpenAI给的token对英文的比率
https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-
them )
是说连用AI判断都要省钱,该说不愧是DOGE吗?
-----
正好这篇报导出来的时候,美国最高法院裁定在审理上诉期间DOGE
可以继续存取social security data
https://www.theguardian.com/us-news/2025/jun/06/supreme-court-doge-data?CMP=
share_btn_url
最高法院同意解除马里兰州(Maryland)联邦地区法院法官发布的禁制令,
并写道社会安全局「可以继续」授权 DOGE 团队成员「存取相关机构纪录以执行其工作」。
----
目前AI真的是浸透到美国政府许多方面
川普解放日关税的莫名其妙算法,也有不少人怀疑是问AI。
(跟问ChatGPT得到的一样,而且还被引用文献来源的作者打脸)
这次的解除合约判断,因为人工判断时间根本不够,合理怀疑许多判断就是照AI执行。
以下就纯粹是个人见解,看看就好
图灵奖得主Bengio、Hinton这些奠基机器学习的大师,担心AI对人类造成毁灭性的影响,
看起来并非杞人忧天(光是关税就搞到台股开盘全部跌停锁死)
因为有权力者懒得自己判断交给AI,好像也是顺理成章。
在一些非监督学习下,例如Bengio和Goodfellow的最重要贡献生成式对抗网络,
本来就是由AI生成的资料训练AI。现在由AI生成训练AI的程式码也是常见。
微软和Google目前约有20~30%程式码是由AI产生,未来势必更高,
无法由人类仔细检查的程式码更多。
如特斯拉自驾强调end-to-end,虽然泛用性较高,也存在着黑盒子难以监督和解释的隐患,
未来某个AI生成程式码训练出来的AI决定不好好开车要毁灭人类,似乎也并非不可能。
https://tinyurl.com/yc6fz89e
--
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Military/M.1749269859.A.D8D.html
1F:推 vt1009 : 就像最完美化合物弄破臭氧层让地球生命一起GG 06/07 12:33
2F:推 laladiladi : 作业被狗啃了 06/07 12:33
※ 编辑: chordate (194.114.136.216 日本), 06/07/2025 12:36:38
3F:推 trouble : DOGE不是号称天才少年团?? 06/07 12:38
4F:推 wahaha99 : AI训练出来的AI决定不好好开车要杀死人类这件事 06/07 12:44
5F:→ wahaha99 : 基本上不可能, AGI不会拿去开车, 06/07 12:44
6F:→ wahaha99 : 开车的AI没法有多余的心思去杀死人类 06/07 12:44
7F:→ wahaha99 : 即便未来硬体再进步、能在车辆上放入AGI, 06/07 12:45
8F:→ wahaha99 : 商人会做的事情是Cost down, 让他够开车就好 06/07 12:45
9F:→ wahaha99 : 如果你说训练出一个有特殊瑕疵的AI, 会在极为特定的 06/07 12:46
10F:→ wahaha99 : 情境下发动攻击, 这倒是有可能, 但太常发生就会被 06/07 12:47
11F:→ wahaha99 : 抓到, 太罕见则根本无效 06/07 12:47
12F:→ wahaha99 : 没有什麽太大的意义 06/07 12:47
13F:→ LunaDance : 30天要审几万份合约 不用自动化工具是真的没办法 06/07 12:50
14F:推 skyhawkptt : 这根本是拿自家产品快速上线直接跳过内部及外部测试 06/07 14:31
15F:→ eemail : 看起来情况就类似只根据摘要去判断 肯定死翘翘 06/07 14:36
16F:推 angellll : 八九不离十又是一个fake news 06/07 14:44
17F:→ angellll : VA福利被一堆民主党的蓝州违法挪移去给非法移民 06/07 14:45
18F:→ skyhawkptt : 那两位闹翻可不是假新闻NASA新署长换人表示马斯克想 06/07 14:52
19F:→ skyhawkptt : 吃政府大案的商业梦要开始破碎了 06/07 14:53
20F:推 Belialdeng : 不喜欢就fake news喔 06/07 19:44
21F:推 IMGOODYES : SPACEX就是目前最好的选择,除非要跟钱过不去 06/07 19:50
22F:推 kuramoto : 对美国政府跟SpaceX 而言,目前合作架构已经是对两 06/07 20:20
23F:→ kuramoto : 方最好结果,美国有足够的太空发射能力,SpaceX有联 06/07 20:20
24F:→ kuramoto : 邦的丰厚委托才能发展技术,撕破脸真的是两败,但联 06/07 20:20
25F:→ kuramoto : 邦政府还能看波音能不能争气点就是 06/07 20:20
26F:推 IMGOODYES : 波音都在考虑出售部份太空业务了 06/07 20:24
27F:推 ferrisw : Ail只是由只字片语在判断事情,会用AI判定,那真的 06/08 07:04
28F:→ ferrisw : 是把世界简化成2维世界了 06/08 07:04
29F:推 arx3721 : 听起来跟Grok的level差不多 06/08 09:39
30F:→ radiohead56 : 某楼俄粉还在散播假消息 06/08 10:37