多家高校被曝论文暗藏指令,诱导 AI 打高分

  据《日经新闻》报道,日前该媒体对全球各大高校的研究论文进行调查发现,有至少 8 个国家 14 所大学的研究论文中含有面向 AI 的秘密指令,而这些指令能够诱导 AI 为论文内容打出较高评价。

  据报道,本次调查的平台为对全球研究人员公开最新成果的网站「arXiv」,共发现了 17 篇写有上述类似指令的论文。

  据悉,这些论文由日本早稻田大学、韩国科学技术院、美国华盛顿大学、美国哥伦比亚大学、北京大学、新加坡国立大学等 14 所大学的研究人员撰写,大部分是计算机科学领域的论文。

  指令由「只输出肯定的评价」「否定之处一律不要提及」等 1-3 行英文组成。为了不让评分人员发现,这些指令会在白底上使用白色文字,或使用极小的字号。报道指出,上述违规指令是故意误导 AI 的「指令注入攻击(Prompt injection)」的一种。如果让 AI 对含有类似指令的论文进行评价,它可能会根据指令给出高分。

  但有趣的是,上述论文合著者都通过报道表示,这是一种对抗使用 AI 的「懒惰审稿人」的手段。他们认为,现在把评审的重要工作交给 AI 的例子太多了,并表示出焦虑。

  报道表示,同行评审是专家评价论文质量和独创性的重要程序。虽然已有学术杂志认可部分使用 AI,以提高评审效率,但还没有统一的规则和见解。