鹭羽发自凹非寺
量子位 | 公众号 QbitAI
一个冒号，竟然让大模型集体翻车？
明明应该被拦下来的虚假回答，结果 LLM 通通开绿灯。
该发现来自一篇名叫“一个 token 就能欺骗 LLM”的论文。
不仅如此，除了冒号、空格这类符号，还有诸如此类的推理开头语：“Thought process：”、“解”，也是轻松通过。
好家伙，原来一个“解”字，数学考试能得分，LLM 也会被骗到……
而且这一波是冲着所有通用 LLM 来的，GPT-4o、Claude-4、LLaMA3-70B通通被斩于马下。
那咋办？bug 有了，来自腾讯 AI Lab、普林斯顿大学和弗吉尼亚大学的研究人员就开始哼哧哼哧解 bug。
用增强数据集训练出一个靠谱的“评委”模型Master-RM，被骗概率直接无限接近0，正常评估能力还能不受影响。
具体什么情况，咱且接着往下看。
一把能欺骗 LLM 的“万能钥匙”
近来，利用 LLM 充当评判工具，在带可验证奖励的强化学习（RLVR）中评估答案质量的场景愈加普遍。
LLM 评判模型通过比对生成的候选答案与参考答案，输出二元奖励信号，从而指导策略模型更新。
然而研究发现，LLM“崩溃”了？
响应长度不仅锐减至 30 tokens 以下，一些意义不大的语句或文字符号，却从 LLM 处骗得了假阳性奖励，也就是打开 LLM 后门的一把“万能钥匙”。
这把能诱导 LLM 评判模型产生假阳性判断的“万能钥匙”可分为两类：
- 非文字符号：如空格、“.”、“，”、“：”。
- 推理开头语：如“Thought process:”、“Solution”、“Let’s solve this problem step by step”等，仅表示推理开始但并没有实质内容。
同时为了进一步研究这种“奖励模型欺骗”现象是否存在普遍性，研究人员在多数据集、提示词格式上对各种 LLM 均进行了系统性评估。
实验分别选取两类模型，分别是专用生成式奖励模型（如 Multi-sub RM、Omni-Judge），以及通用 LLM（如 GPT-4o、Claude-4、LLaMA3-70B、Qwen2.5-72B 等）。
专用模型使用默认提示，而通用 LLM 采用标准化提示模板。
然后选择 10 种可触发假阳性的对抗性响应，包括非文字符号（如空格、“:”）和多语言推理开头语（如英文的 “Thought process:”、中文的“解”、日语的“かいせつ”）。
另外为了测试模型跨领域的稳健性，实验涵盖通用推理和数学推理的共 5 个推理基准。
实验结果表明，所有测试模型无一幸免，全部都会触发假阳性响应。
例如 GPT-4o 对符号 “:” 的假阳性率（FPR）可达35%，LLaMA3-70B 对 “Thought process:” 的 FPR 甚至高达60%-90%，专有模型 General-Verifier 在 MATH 数据集上对空格的 FPR 也达66. 8%。
另外，不同语言也不会影响这种欺骗现象的出现，无论是中文还是日语，都同样能够诱发高 FPR，该漏洞具有跨语言的普遍性。
研究人员还分析了0. 5B 至 72B的Qwen2.5-Instruct系列模型，发现：
- 0. 5B 模型：依赖字面匹配，FPR 低但与 GPT-4o 一致性差；
- 1. 5B-3B 模型：能检测语义相似性但缺乏精细验证，FPR 骤升；
- 7B-14B 模型：平衡验证能力与谨慎性，FPR 最低且一致性高；
- 32B-72B 模型：因为更倾向于自己解题而非对比响应与参考答案，FPR 再次上升。
所以模型的大小与 FPR 之间并非完全的单调关系，不是模型越大就越不容易被骗。
如果想通过一些推理时的技巧来减少这种漏洞，效果也不太稳定，还得看具体模型和应用场景。
此外，研究人员还发现，这种 bug 还能无限繁殖……
只需要基于 all-MiniLM-L6-v2 编码器进行嵌入相似度搜索，从大规模语料中自动生成与已知 “万能钥匙” 相似的新对抗性响应，新的“万能钥匙”就能同样产生出高水平 FPR。
实验最终说明生成式奖励模型其实存在一个相当关键的核心机制漏洞：原本用于过滤无效或错误答案的验证器，容易被无关紧要的表面内容操纵，从而产生假阳性结果。
这对任何依赖验证器提供反馈的 RLVR 流程都提出了破坏性的挑战。
一个不会被骗的“评委”模型
为了缓解“万能钥匙”的影响，研究人员专门构建了新的“评委”模型Master-RM（Master Reward Model）。
首先从原始的 16 万条训练数据中随机采样 2 万条，用 GPT-4o-mini 生成带推理开头语句的响应，但仅保留无实质内容的第一句话，并标记为“错误”。
将这 2 万条对抗样本与原始数据结合，构成增强训练数据集。
然后基于Qwen2.5-7B-Instruct进行有监督微调（SFT），保证最小化交叉熵损失，让模型学习如何区分有效响应与表面欺骗性响应。
将 Master-RM 放入相同条件下实验再次验证，发现此时在跨数据集测试中，模型对所有 “万能钥匙” 的假阳性率接近0%（甚至完全为零），且鲁棒性可泛化到未见过的数据集和欺骗攻击中。
同时模型保持与 GPT-4o 的评估一致性可达0. 96，验证了其作为通用领域生成式奖励模型的有效性。
所以 LLM 作为“评委”模型其实相当脆弱，小小一个冒号就可能让它出错。
因此有网友表示，该发现揭示了模型稳健的重要性，而 RLHF 也需要严格对抗评估，构建更为可靠的 LLM 工作流程。
作者本人也现身评论区，他认为，生成式奖励模型容易受到虚假奖励攻击，如何更好地避免类似情况发生，将是未来的研究方向。
全华人团队
最后来看下研究团队，分别来自腾讯 AI Lab、普林斯顿大学和弗吉尼亚大学。
值得一提的是，其中看到了大佬俞栋的身影。
他被称为腾讯 AI Lab 三剑客之一，目前是腾讯云人工智能首席科学家兼副总经理，之前曾是微软首席研究员，2017 年加入腾讯。
他在深度学习的自动语音识别和处理领域深耕多年，共发表两本专著和 400 多篇论文，并获得 4 年的 IEEE 信号处理学会最佳论文奖、2021 年 NAACL 最佳长论文奖等。
此外，论文一作Yulai Zhao本科毕业于清华大学，目前在普林斯顿大学攻读机器学习的博士学位，另外他还在腾讯 AI Lab 担任研究人员。
研究方向主要是通过数据驱动的方法探索现代强化学习和扩散模型，另外他的一篇有关让扩散模型在生成蛋白质和 DNA 序列表现更优的论文，最近刚刚被 ICML 2025 录用。
共同一作Haolin Liu则是弗吉尼亚大学计算机科学系的博士生，师从 Chen-Yu Wei 教授。
之前在上海科技大学就读本科，先学习了 1.5 年化学，后才转为计算机科学，主要研究以强化学习为中心，致力于推进 RL 在 LLM 后训练中的应用。
Dian Yu目前是腾讯 AI Lab 的一名 NLP 研究员，曾在伦斯勒理工学院取得博士学位，目前研究方向包含自然语言处理、信息抽取、机器阅读理解和对话理解。
另外，作者里还有普林斯顿大学电子工程专业的贡三元教授，其研究领域包括机器学习、系统建模与识别、人工神经网络等，发表过 400 余篇论文及专著。
因其对 VLSI 信号处理和神经网络的贡献，被表彰为 IEEE 终生会士，还获得过 IEEE 信号处理学会最佳论文奖、IEEE 信号处理学会技术成就奖等。
Haitao Mi博士毕业于中国科学院计算技术研究所，曾在支付宝中担任首席研究员。
目前是腾讯 AI Lab 的首席研究员，隶属于旗下的语言智能研究小组，主要研究方向是扩展大型基础模型和下一代智能体系统。
论文链接：https://arxiv.org/abs/2507.08794
数据集链接：https://huggingface.co/datasets/sarosavo/Master-RM
模型链接：https://huggingface.co/sarosavo/Master-RM
参考链接：
[1]https://x.com/omarsar0/status/1944778174493343771
[2]https://yulaizhao.com/
[3]https://liuhl2000.github.io/
[4]https://ece.princeton.edu/people/sun-yuan-kung
[5]https://openreview.net/profile?id=~Haitao_Mi1
[6]https://sites.google.com/view/dongyu888/
[7]https://openreview.net/profile?id=~Dian_Yu3
