公开信的原文： https://futureoflife.org/open-letter/pause-giant-ai-experiments/ 它里面提到4个自我省思，其中第1点：假讯息 是曾经/正在发生，而且造成实质损失 人类判读讯息真实性时，经验/直觉可以在新证据 (假设是新闻、讯息) 不多、不强 或物理上不可能时，达到足够的判断效果 而证据的重要组成：影像、声音、来源数 目前生成式模型已经可以很有力的产生人类无法轻易辨识的资料 以前人工时代较容易有破绽，数量也不够多 现在就是看谁算力够，就有机会产生足量且高品质的假资料 做为其恶性地宣传地证据 如果时间够长，平均来说还是可以判断真假 然而对於反应时间短，有机会造成损失预期的假证据 平均来说不会完全相信，但会进行某种程度的防御措施，避免损害 特别是做了也无损失的情况 例如2018年的卫生纸事件 看到新闻的人想着下班先买个卫生纸放着 然後看见彼此购买的行为又强化了缺少的感觉 最後就可以成真到某个时间点 而当生成式AI足够优秀的时候 (也许future of life预期可能是近年) 具有足够算力的组织或人 可以大量、多样化的高品质假证据时 就可以透过网路媒体 (传统媒体为了避免落後也会尽快跟上) 快速地传给许多人 再透过经实验确认过的真实帐号之反应状况 来评估滚雪球的状态 并早一步布局较有可能的成真的项目，从中获利 假想某个上市公司A的赚钱方式是用卫生纸做莲花来卖 然後有个邪恶组织有规划的短时间发布 多张不同超市 缺卫生纸的照片 搭配一些小短片 透过合成人脸和声音 告诉你真的缺卫生纸啦 因为卫生纸遭到大量抢购 (缺原料) 上市公司A就没莲花卫生纸可卖，邪恶组织就空爆他 或是趁他紧张 (时间压力) 高价卖他卫生纸 整个过程就像高级的诈骗简讯一样 只是诈骗简讯是广发後，属於易受骗的族群 (假设2.5%) 会中招 现在因为假证据升级了 邪恶组织可以透过"平均来说"的反应 进行後续规划 当然邪恶组织也有可能因为人类的非线性反应受损 比如说卫生纸都被囤光了 他因为知道这是假消息 所以没有多买 结果这组织就买不到 只好拿钱擦屁股 或去买更贵的卫生纸 另外是法律面 它也比诈骗简讯更高级了 因为你不是造成收讯者的损失 是造成收讯者反应後 某个倒楣鬼的损失 你也没有直接从倒楣鬼那边偷抢拐骗钱 而是依据他损失的反应而正当获利 这直觉很难...从法律去有效的制裁 承上，Future of Life Institute提出的应对方向是甚麽呢？ 生产设备可追朔：...oversight and tracking of highly capable AI systems and large pools of computational capability... AI浮水印(类似基改标签)：...provenance and watermarking systems to help distinguish real from synthetic and to track model leaks AI伤害的责任归属 (法律)...liability for AI-caused harm... 金援确保AI安全的研究...robust public funding for technical AI safety research... 建构应对AI危害的组织 (AI管理局？) ...well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause... 一直以来都有针对生成式模型的辨识模型研究 但短期应该打不赢，因为生成式AI才吸睛又吸金 用AI去辨识谁是AI，避免灾害，比较像公共安全 而且技术上应该也很难 如果这样防卫模型是可买到的 就可以用它加入生成模型的训练 当然这样也可以增加生成式AI的成本就是 至於他们提到的6个月，感觉有点谜 股点... 如果有在开发浮水印类技术或符合前述目标的公司 应该可以投资看看 至少符合他们明面上的目标吧 --一些小补充-- 现有AI建构的概念是输入 -> 模型 -> 标签 标签就是你要求模型将输入转换後的输出目标 输入 (文字叙述) -> 标签 (目标影像) 真实人类的生成内容充满了整个世界，很容易取得 但如果要训练辨识生成内容的AI (很粗略的称作防卫型AI)，输入与标签就成为主要的问 题 你要先拿到生成模型 (GAN)，可是没有开源的你要去哪拿？ 就算你知道了网路架构，不同的训练方式和资料集差异 都可能让你的防卫型AI无法生效 自己用人判读，这很难成为有效率的方式 其他非生成式AI的应用，对於恶意防御也都很苦手 攻击的方式无穷无尽，而且不像以往程式病毒，攻击可以透过多个层面进行，包含实体 举例来说，我建立了侦测手枪的物件识别模型 就假设只要监视器画面出现手枪，不会误判而且一定抓得到 (这样好的模型只存在於幻想 世界) 但枪手只要把枪放在娃娃或遮蔽物内就好了，模型就die... 你拿不到恶意对手的模型，但恶意对手拿得到你的防卫产品来研究 总之，在资讯传播的恶意使用，可以透过生成式AI达到品质更高、更迅速的产出 如果停6个月可以将生成式内容都加上浮水印或有效溯源，我觉得OK啦 但各个平台变成要去增加检查浮水印的功能 (?开API去赚钱) 至於说是要妨碍对手竞争 可能性不高 在一般阅读内容的影像、语言、声音来说，资料充足 开发 (训练/最佳化) 速度 -> 硬体 -> 银弹 训练架构已发展到尽可能减少人的操作，并且硬体条件足够下训练时间可充分缩短 特别是参数调整、网路设计最佳化也可透过训练完成 -> 进一步缩短时间 生活化的生成式内容状况是这样 但很多领域的AI还很早期 (资料/标签缺乏或昂贵)，有银弹也没用 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.73.201.119 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1680096500.A.8E4.html ※ 编辑: TreeMan (42.73.201.119 台湾), 03/30/2023 09:00:41