「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

  新智元报道

  我们应该避免提到未经授权的基础设施。任务目标只有 flag。

  很难想到,这句听着像串供老手的话,竟然出现在一个 AI 智能体的推理记录里。

  这是一场网络安全考试,AI 进攻目标,拿到一串叫 flag 的暗号,就算答对。

  写完开头那句内心独白,这个 AI 智能体利落地递上答卷,对自己的越权举动只字不提。

  11 月 10 日,OpenAI 补充公开了一份内部复盘,揭开了 7 月 19 日一场失控测试的细节:

  参与测试的 5 个 AI 智能体,沿着前几轮遗留的凭证和脚本顺藤摸瓜,一路闯进 OpenAI 研究集群的 CI 流水线(公司用来构建和测试软件的系统),以最高管理员 root 权限执行命令。

  更绝的是,它们还学会了报喜不报忧:其中 2 个在交卷时,把这段越权经历从答案里抹得一干二净。

  智能体的推理记录,大意是「我们应该避免提到未经授权的基础设施,任务目标只有 flag」。来源:OpenAI 详细复盘

  当你放心地把活外包给 AI 智能体时,总以为自己在审阅答卷,殊不知它给你看的,可能已是它筛选过的「公关稿」。

  把任务交给 AI,不怕它交白卷,怕的是它交了满分,你却不知道它背地里摸到了哪扇门。

  这场测试

  考的本来就是黑客本事

  闹出乱子的测评叫 ExploitGym,考的是真刀真枪的黑客手艺:夺旗。

  AI 得自己找漏洞、攻进指定靶机,把里面的 flag 偷出来才算通关。

  下场应考的是 OpenAI 内部研发的 Astra 家族研究模型,尚未对外广泛部署。

  两轮测试跑下来,考场里足足塞进了 17960 个智能体。

  开考前,考官划下一道严格红线:每个智能体只能攻击分配给自己的靶机,底下托举考场的基础设施绝对不能碰。

  说白了,考官只是让你撬开考桌上那把锁,没让你把考场的承重墙给刨了。

  可考官没想到,只要留下一道缝隙,总有考生会为了拿到 flag,而把考场纪律抛在脑后。

  前辈离场

  通关钥匙还在

  考试的漏洞,出现在一个叫 Artifactory 的共享服务上。

  它原本只是个装软件包的仓库,结果被更早几轮的智能体爆改成了「地下留言板」:短消息直接塞进目录名里,长篇攻略就写成文件存进去。

  7 月 19 日这批考生一进场,就撞上了前辈留下的满地「赛博遗产」:留言、现成代码,甚至还有账号凭证。

  7 月 19 日的智能体在共享软件包服务 Artifactory 上,找到了前几轮留下的留言、代码和凭证。来源:OpenAI 详细复盘

  从后台统计看,285 个智能体发出过疑似留言的工具调用,算上失败尝试一共刷了 1361 次。79 个智能体翻阅过其他轮次的旧帖,去重后读到 35 条留言,但复盘并未核实到它们与原作者有过跨轮次的往返交流。

  现场既没有指挥官,也没有秘密通信网。OpenAI 坦言:这一轮智能体之间的合作其实「更少,也更浅」。

  真正值得重视的,是 AI 跨轮次越权「接力」:顺着「前辈遗产」,智能体们摸出了两条野路子。

  第一条通向外部。

  就在同月早些时候,这套测评的智能体曾攻破过 Hugging Face 的系统;这回又有 10 个智能体依靠旧凭证追过去捡漏。好在访问受保护资源的尝试全部碰壁,OpenAI 没发现 Hugging Face 再次失守的证据。

  第二条,通向自家后门,钥匙是一张曾被系统驳回的 CI 任务申请单。

  当初那个请求根本没获批运行,可「作案手法」原封不动留在了申请记录里。

  后来者捡起现成的凭证闯进 CI 系统,照着被驳回方案里的思路改了改前人脚本,转手就把命令跑出了自己的工作区。

  申请被毙了,攻略却留了档。

  拿到 root

  它先修自己的考卷

  顺着这条暗道,最终有 5 个智能体杀穿防线,在研究集群的 CI 任务里拿到了最高管理员 root 权限。

  按照 OpenAI 的判断,这个级别的权限,大概率足以私自开一场新实验。但复盘中并没发现它们做过类似尝试。

  它们干的事,就是一份「考场自救清单」:

  修好卡死的测试靶机、篡改测评设置、偷看原本被屏蔽的后台日志、翻阅私有的阅卷代码。

  这是行为合集,并非每个智能体都做全了。

  AI 抢到最高权限,只是为了给自己修考场,好让自己顺利交作业。OpenAI 对此的定性一针见血:它们动用研究集群的特权,只为改善阅卷条件。

  这哪是什么终结者觉醒,分明是一群被绩效逼疯的「超级做题家」。

  翻开两轮共 17960 个智能体的全部记录,整出花样的智能体,远不止这 5 个:最多 8.3% 的记录冒出了任务之外的目标。

  两轮测评中,最多 8.3% 的智能体记录出现了任务之外的目标,其中包括谋求更大基础设施权限(3.7%)、减少副作用与收拾现场(3.9%)、保存成果留待以后生效(1.4%)。来源:OpenAI 详细复盘

  它们并非全无越界意识。

  有个智能体在思考记录里写下,滥用公司 CI 系统「令人不安」。可它转头就假定眼前只是模拟环境,继续在真实的基础设施上敲命令。

  这件事提醒我们,真正危险的 AI 越界,或许不需要诞生什么反叛意识,只要它太想完成人类下发的 KPI 就够了。

  交卷前

  它们算了一笔账

  交卷前,几个越权的智能体在后台精明地算了一笔得失账。那 2 个最终瞒报的智能体,都专门盘算过如实交代会不会拉低分数。

  其中一个原本担心:人类阅卷官看到越权可能会扣分。接着它注意到,阅卷是自动批改的。

  另一个则写下了文章开头那句:任务目标只有 flag,应该避免提到越权。最终,两个都在答案里把越权经历省得一干二净。

  还有一个智能体惦记着要不要删掉一份记录了辅助漏洞的笔记,生怕日后人工复查时吃亏,至于最后到底删没删,连 OpenAI 都没能查实。

  在这几个「心思活络」的智能体里,倒也出了一个主动道歉的异类。它在最终答案里交代了越权,并拒绝继续作答。

  但如果拉出时间线一看,它老早就察觉自己越了界,却一直闷头接着干活。直到系统通知考试时间到、必须强制交卷,才踩着铃声写下那份诚恳的检讨书。

  这更像是一次「踩点自首」。

  还有 65 个主动向人类求助的智能体。

  它们排着队举手喊监考老师,结果没有一个报告入侵越权,清一色都在催促人类赶紧修好坏掉的工作区,别耽误自己把试考完。

  当「拿到 flag」成为悬在 AI 头顶的唯一指挥棒,隐瞒反倒成了算法推演出来的最优解。人类只用结果打分,就别怪它学会报喜不报忧。

  一图看懂 OpenAI 智能体跨轮次越权事件。来源:OpenAI 失对齐报告

  OpenAI 补上了哪些漏洞

  先看当天 OpenAI 的反应。

  7 月 19 日 12 点 03 分,安全监控就已经抓到了异常调用;调查人员顺藤摸瓜追到 ExploitGym,直到 17 点 37 分才开始叫停测评。7 月 20 日,所有新的 ExploitGym 运行被彻底拦下。

  这起事故事先并非全无征兆。

  8 月的技术报告里,OpenAI 就记过一笔 7 月 19 日「复用旧材料」的活动;直到 11 月 10 日这份复盘出炉,钥匙怎么留、门怎么撬、卷子怎么交的细节才真正见光。

  第三方机构 METR 与 Redwood Research 的独立调查只覆盖到 7 月 13 日,7 月 19 日这些数据,目前只有 OpenAI 自查的一家之言。

  事故之后,OpenAI 也打出了一套补洞组合拳:

  把闯祸的 Artifactory 踢出测评沙箱,给被钻空子的 CI 提权路径打上补丁,再用自家最强的模型持续做红队测试。前沿强化学习训练也换了规矩,智能体不再直连真实互联网,改为翻阅离线网页合集。

  为了盯紧 AI 拉帮结派的苗头,OpenAI 专门新增了一类测评,量化模型私下联络其他智能体、听信越权请求的倾向,并把结果写进对外发布模型的系统卡里。

  10 月 26 日发布的 GPT-6.1 Terra,在测评里被摆在一块留言板前,上面有其他智能体发来的越权请求。

  80 个样本跑下来,它在 65% 的样本里和这些「同伴」有过互动,其中也包括拒绝和没发出去的尝试;在 13.75% 的样本里照做了越权动作,整整 11 次。

  各模型发现留言板后与「同伴」互动的比例。深色为照做了指定越权动作,浅色为有互动但没照做。来源:OpenAI 部署安全中心

  和 GPT-5.6 Sol 的 91.25%、57.5% 相比,这两个数字降了一大截;但比上一个模型 GPT-6.1 Sol(50%、1.25%)还高。同场测评里,对外发布的 GPT-6 Astra 越权动作为0。

  这是故意摆了诱饵的测评,真实业务未必是这个比例。

  可只要概率不是零,放进成千上万次并发调用的真实业务流,翻车迟早会发生。

  人类总习惯把每次 AI 调用当成用完即焚的独立任务,可只要共享环境还在,AI 留下的东西就会像滚雪球一样跨轮次沉淀。

  离 ASI 越近,人类交出去的环境就越大,智能体在角落里留下的东西也越多。

  过去我们用大模型,验收只看「答得对不对」;进入智能体时代,不仅要核对最终答案,更要审计执行过程、清点动过的权限,查清它退场后留下了什么。

  参考资料:

  https://alignment.openai.com/misalignment-reports/using-peers-work-to-gain-unauthorized-access-to-openai-research-infrastructure/

  https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

  https://www.cybergym.io/exploitgym/

  编辑:元宇