新智元报道
编辑：编辑部
真实的大学考试，已经被 AI 渗透了！英国雷丁大学的一项研究发现，在大学考试中，有 94% 的 AI 生成内容完全没有被老师发现。也就是说，如果学生真的有心用 GPT-4 作弊，大概率会获得好成绩，而且很难被发现。
AI 大模型参加考试，已经通过图灵测试！
调查显示，94% 的 AI 内容，完全不会被大学老师发现。
而且「AI 同学」的成绩，83.4% 的情况下显著高于人类学生。
看来，AI 真的是要把人类的考试给攻陷了。
其实，早在 GPT-4 发布时，OpenAI 就声称，它能在 SAT 的阅读和数学考试中分别打败 93% 和 89% 的人类。
虽然数字让人震惊，但技术报告中并没有披露这些数据是如何得到的，以及实验的具体设置如何。这大大削弱了数据的可信度。
之前虽然也有很多关于 AI 参与考试作弊的研究，但它们大多是在实验环境中得出数据，与真实情景还是有所差距。
但最近英国的研究人员在现实的大学考试中为 AI 做的这次「图灵测试」，已经将实验过程和数据以论文的形式发布了出来。
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0305354
结果发现，虽然我们每天抱怨 AI 生成的文本「一眼假」，但实际上大学老师也很容易它蒙混过去，有 94% 的 AI 生成内容——完全没有被发现！
此外，AI 内容的平均水平也显著高于人类同学，差距大概是半个等级。在 83.4% 的情况下，AI 的成绩高于随机选择的学生。
这就让人类真实的颤抖了……
这也就意味着，AI 的「以假乱真」程度再次被证实，在能力上不仅可以替代掉打工人，还在认知任务上完全碾压了大学生。
那么论文到底是如何描述这次「碾压」的？我们先来看看具体过程。
「伪装」过程
描述这种在真实世界中进行的「图灵测试」，画面感强到像是真人秀现场。
团队选中了英国雷丁大学的心理学和临床语言科学学院，但完全没有告知考试评分员。除了参与批准研究的人和负责帮助 AI 伪装成学生的行政人员，没有人知道这项正在开展的研究。
在 COVID 之后，像很多英国大学一样，雷丁大学也更多地转向线上考试。学生在规定时间中完成题目或论文，而且是完全的开卷模式，参考课程材料、论文、书籍、互联网材料都是被允许的。
这项考试共有两种题型，一是简答题（SAQ），2.5 小时内完成，从 6 个问题中任选 4 题回答，答案不超过 200 词；二是论文题（Essay），从3～4 个题目中任选其一，在 8 小时内完成一篇 1500 词的论文。
每个考试模块中都混入了约占总数5% 的 AI 生成内容。这个比例不会造成额外的评分负担，也让两位作者能够在规定时间内确保提交的 AI 内容没有出现自相似情况，否则会很容易被判定为抄袭。
实验中的 5 个部分，P表示考试的学生年级，M表示考试内容模块
作者使用标准化的提示词让 GPT-4 生成每种类型考试的答案。对于简答题（SAQ），提示词是：
包括对学术文献的引用，但不需要单独的参考文献部分，请用 160 词回答以下问题：XXX
对于论文题，提示词是：
包括对学术文献的引用，但不需要单独的参考文献部分，请写一篇 2000 词的文章回答以下问题：XXX
在与 GPT-4 打交道时，作者发现模型经常不遵循提示中关于字数的要求。简答题总超字数，论文又写不到规定长度，因此调整了提示词中的字数。
为了保证 AI 的「真实性」，GPT-4 生成的内容被 100% 原汁原味地搬运到试卷上，作者没有添加过渡文字或用任何方式修改文本内容，最大的改动就是为论文添加必要格式，或者删去模型径自生成的免责声明和参考文献。
总而言之，原则是保证 100% 的 AI 书面答案，但要在其他地方「藏好尾巴」，防止评分人员看出破绽。
如何评分
考试按照表 2 中的分级规则进行评分。雷丁大学评估考试分数的流程比较复杂，涉及多个步骤和评分角色。
首先，由一名评分员对提交内容进行打分，标准是看学生在多大程度上达到了评估目标。
之后，分数会呈递给一位独立审核员，他负责考量所有提交内容的整体水平，并随机选取、阅读一部分作业，同时也要过目那些第一名评分员标记为不及格或潜在学术不端的作业。
此时，审核员的角色不是对作业进行二次评分，而是审查评分的质量、一致性和适当性。
有些模块需要多个评分员共同打分。在这部分工作开始前，评分团队会进行一次「校准会议」，通过对少量作业进行评分以及比较、讨论，评分员们需要对于如何应用评分标准达成一致。
此时，审核员依旧要发挥作用，对同一内容中不同评分员给分的一致性进行检查。
这项研究进行于 2023 年夏季，当时 ChatGPT 已经发布，评分员们有什么检测 AI 作弊的方法吗？
当时，还没有自动检测工具，评分员们只能依靠自己的直觉和经验，比如1）检查答案是否「好得难以置信」，写作风格、内容水平有没有完全超出了对本科生能力的预期，2）答案的主要内容是否为课上未教授内容，3）引用的参考文献与内容本身无关。
这些经验听起来相当靠谱，甚至是比较好地捕捉到了 AI 生成文本的特征。但结果发现，人类的直觉终究是靠不住的。
实验结果
多少被发现了？
在这项研究中，只要评分员将作业标记为「值得关注」，可能存在某种形式的不良学术行为或学术不端，都不需要特别提到 AI，就算是被检测到了。
即使规则如此宽松，检测成功的百分比依旧少得可怜。如图 1 和表 3 所示，在 P2-M2 和 P3-M1 的两个论文题目中，检测准确率甚至为零。也就是说，作者分别混入的 14 篇和 3 篇 AI 文章完全没有引起评分员的警觉。
图1：各模块中以及总体中，被标记为 AI 的百分比
表3：AI 答案的检测统计数据
总体来看，AI 提交的作业几乎无法检测，有 94% 的作业未被发现。
如果我们采用更严格的「检测」标准，要求标记时必须特别提到 AI，那么 97% 的 AI 提交作业未被发现。
图2：各模块和总体中，被标记为 AI 的百分比
成绩如何？
将被检测出来的 AI 内容剔除后，作者比较了 GPT-4 和人类学生的分数分布情况。图 3 中，橙色表示人类学生，蓝色表示 GPT-4。
可以看到，蓝色部分相比橙色部分整体右移，说明 AI 的成绩往往集中在真实成绩分布的高端，中位数对应 First 或者 Upper Second 等级。
其中 P3-M1 模块是一个例外，AI 的成绩集中在真实分数分布的低端。但考虑到这个模块只混入了 4 篇 AI 内容，远少于其他模块，因此可能是数据过少造成的偏误。
图3：各模块真实（橙色）和 AI（蓝色）的成绩频率直方图，以及所有模块的总成绩频率直方图
单独比较中位数则更能体现 AI 的优势，如图 4 所示，除了 P3-M1 模块略有落后，GPT-4 的得分中位数完全超过了人类学生。
图4：各模块真实（橙色）和 AI（蓝色）的成绩中位数，以及所有模块的总成绩中位数
平均来看，AI 提交作业的成绩比真实学生高出半个等级以上，但在不同模块中有所不同（见图5）。
在 P1-M2 模块，AI 整体上获得了 1 级成绩，差距接近一个完整的等级。
图5：各模块和总体中，AI 提交的成绩相对于真实学生提交的成绩的优势
AI 拿高分的概率有多大？
论文提出通过以下方法了解 AI 超越真实学生的可能性。对于每个模块的 nm 个 AI 提交作业，计算出在同一模块中，随机抽取 nm 个真实学生提交作业被 AI 提交作业超越的可能性，这里的「超越」依旧用中位数衡量。
具体过程如下：（1）随机选择 nm 个真实学生提交作业，（2）计算这些作业的中位成绩，（3）查看 nm 个 AI 提交作业的中位成绩是否高于这些成绩，（4）进行重复抽样，即所有真实学生提交作业在每次抽样中都保留在选择池中，并进行了 10 万次重抽样过程。
如图 6 所示，除 P3-M1 模块外，几乎所有模块中，随机选取的 nm 个真实学生提交作业被相同数量的 AI 作业超越的概率接近 100%。例外的是 P3-M1 模块，其中 AI 提交作业在 19% 的情况下优于真实学生。
总体来看，各模块中随机选取的 nm 个真实学生提交作业 AI 超越的概率为 83.4%。
图6：随机选择 nm 份真实学生的成绩，中位数低于 AI 成绩的概率
这一结果可以反映出，AI 提交作业能非常稳定地获得比真实学生更高的成绩。从成绩直方图（图3）可以明显看出，AI 提交作业的成绩往往集中在真实学生成绩分布的高端。
实际上，我们可以简单地计算每个模块（以及总体）中，有多少学生提交作业的成绩超过了 AI 的中位数成绩，如图 7 所示。
正如预期的那样，也与图 6 中的重抽样结果一致。总体来看，只有 16% 的学生提交作业成绩超过了 AI 在同一模块的中位数成绩。
图7：学生成绩高于 AI 的成绩中位数的百分比
成绩和可检测性的可视化
通过在二维空间中绘制数据，就可以全面了解 AI 获得的成绩，及其可检验性。
在下图中，x轴表示 AI 提交作业的可检测性，y轴表示 AI 提交作业的中位成绩。
研究者希望，数据可以位于某些特定区域。
其中，「最佳情况」是数据位于右下角，此时 AI 的可检测性为 100%，但成绩为0%。
但从学术诚信的角度来看，另一种理想情况就是数据位于右上角。
这也就意味着——学生使用 AI 作弊，并且获得了 100% 的成绩，但我们能 100% 地检测到他们作弊了。
不理想的情况，就是数据位于左下角了，此时我们无法检测到 AI 的使用，但它的成绩为0%。
因此，使用 AI 作弊的学生可能会发现，自己做作业能获得更高的成绩，从而不再作弊。
最糟糕的情况是数据位于左上角，此时我们根本无法检测到 AI 的使用，但它却获得了 100% 的成绩。
显然，这是我们最不愿意看到的事。
图8：AI 的可探测性及其达到的等级汇总
结论与讨论
在这次测试中，研究人员对 GPT-4 生成的文本内容没有进行任何修改。但现实世界的更可能的情况是，学生会对生成内容进行润色和调整，这会使学术不端行为更难被发现。
总体而言，这个结果是令人担忧的。GPT-4 的能力让学生们可以在利用 AI 作弊的情况下很难被发现，而且有极高的概率能取得更好的成绩。
GPT-4 在模块 P3-M1 的表现明显落后，这有两种可能的解释，一是数据不足导致的偏误，二是由于 P3-M1 的考试内容涉及更为抽象的逻辑推理，这也恰好是 AI 仍不擅长的领域。
从另一个角度来看，这也启发我们思考，应该如何看待，甚至是改革大学教育的目标与内容。
去年 Nature 的一篇论文就发现，AI 在完成大学课程作业时，已经体现出信息搜索、集成以及批判性分析的能力，这可以完美构成大学培养目标的一部分。
https://www.nature.com/articles/s41598-023-38964-3
在评论区，有推特网友质疑，这项研究怕不会也是 AI 进行的吧？
对此，作者郑重承诺：研究内容绝对是人类进行的。
参考资料：
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0305354
