虚假新闻、恶意产品评论、剽窃……ChatGPT、 GPT-4 等 AI 大语言模型的应用带来便利，但其误用也带来一系列问题。西湖大学工学院张岳教授的“文本智能实验室”日前发布的一项研究提出一种高准确率、高速、低成本、通用的新文本检测方法——Fast-DetectGPT，无需训练即可识别各种 AI 大语言模型生成的文本内容。
Fast-DetectGPT 演示网页。
据了解，该研究的论文 5 月发表在 2024 年国际表征学习大会上。第一作者、西湖大学文本智能实验室博士鲍光胜 6 月 28 日告诉澎湃新闻（www.thepaper.cn），Fast-DetectGPT 针对 GPT3.5 生成的文本识别率可达 96%，对 GPT4 生成的文章的识别率达 90%。与斯坦福大学 2023 年提出的 DetectGPT 检测方法相比，Fast-DetectGPT 的检测速度提高 340 倍，检测准确率相对提升 75%，在对目前被广泛使用的 ChatGPT 和 GPT-4 生成文本的检测上，准确率均超过商用系统 GPTZero。
“我的研究方向是自然语言处理，注意到 AI 大语言模型的应用在多个领域提升了生产力，但其误用也带来了诸如虚假新闻、恶意产品评论、学术不端等问题，去年启动了这项研究，历时约半年完成。” 鲍光胜介绍，AI 生成的文本内容流畅连贯，往往难以辨别，这项研究则引入了能区分机器生成文本和人类撰写文本特征差异的统计量——条件概率曲率。
“Fast-DetectGPT 的操作基于一个前提：人类和机器在文本生成过程中倾向于选择不同的词汇，人类的选择比较多样，机器则更倾向于选择有更高模型概率的词汇，因为在大规模语料库上预训练的 AI 模型反映的是人类的集体写作行为，而非个体行为。” 鲍光胜解释，“具体而言，两种文本在词汇使用、句子结构、语法复杂度、语义连贯性等方面有所相同，我们提取覆盖这些区别特征的统计量，分析它们在两种不同文本的分布，当某个文本的统计特征值主要落在机器生成文本的分布中，模型就会判断为 AI 大语言模型生成的。”
鲍光胜同时表示，Fast-DetectGPT 不能完全准确地识别文本是否由机器生成，只是提供概率，在 Fast-DetectGPT 演示网页的对话框输入一段文本，结果会显示“文本有2% 的概率是机器生成”。“当被测文本混合了机器生成文本和人工撰写文本，检测会更难。” 他说，“构建一个更好的内容环境还需要各方的努力。”
