笑死!ChatGPT竟然出现在论文共同作者栏:我研究我自己,怎么啦?

  新智元报道

  编辑:编辑部

  ChatGPT 写文章很6,咱们都知道,但是,最近越来越多的医学论文中,它开始作为作者出现了!这合理吗?

  ChatGPT 竟然成论文的共同作者了?

  在去年 12 月发表的一篇预印本论文中,我们惊讶地发现,作者一栏中赫然惊现了 ChatGPT!

  论文地址:https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

  ChatGPT 这是成精了?

  虽然大家都知道,ChatGPT 拥有超强的写作能力,但是,它已经能和人类合作,写出一篇研究自己的论文了吗?

  (没准还真行)

  带着一百个问号,小编点开这篇论文开始仔细研究,不过读完之后,一百个问号变成了一千个。

  就是说,并没有看出哪句话是 ChatGPT 写的。只能说,ChatGPT 的确在研究中扮演了十分重要的角色。

  然而,这就更加让人困惑了:一个生物学实验中有了小白鼠参与,小白鼠就可以出现在作者栏里吗?(恒河猴、羊驼、兔子、果蝇纷纷表示不服)

  对此,网友也看懵了:也不知道是他们强迫 ChatGPT 去参加 USMLE 考试更有趣,还是让人工智能成为论文作者更有趣。

  被迫参加考试,还成了论文作者

  所以,在这篇论文中,ChatGPT 究竟是扮演了怎样的角色呢?

  让咱们来捋一捋。

  文章标题是《ChatGPT 在 USMLE 上的表现:使用大型语言模型进行 AI 辅助医学教育的潜力》。

  总的来说,就是研究人员让 ChatGPT 参加了一个美国的医学执照考试。

  为什么选择这个考试呢?

  这是因为,这个考试的难度很高,问题非常复杂(无论是语言上,还是概念上),同时呢,又有着高度标准化的规范。

  巧了不是,这些恰恰都是 AI 的强项。

  没有经过专门的训练或强化,ChatGPT 在三项考试中几乎都及格了,或是接近及格。并且,在 ChatGPT 的答卷,给了研究者很大的惊喜。

  下面咱们来具体说说。

  USMILE 有多难

  美国的医学执照考试 USMILE,涵盖了基础科学、临床推理、医疗管理和生物伦理学。

  它的问题在文本和概念上都很密集。

  试题的小插图中,包含大量多模态的临床数据(包括病史、体格检查、实验室值和研究结果),而参加考试的学生,需要做出诊断,鉴别出许多模棱两可的情景。

  论 LLM 与 USMILE 的适配性

  研究者为什么看上了 ChatGPT 作为「小白鼠」呢?

  以往的 AI 模型,主要是深度学习 (DL) 模型,用于学习和识别数据中的模式。

  而 ChatGPT 属于通用大规模语言模型(LLM)。基于新型 AI 算法,经过训练的 LLM 可以根据前面单词的上下文,预测一个给定的单词序列的可能性。

  因此,如果能够在足够大的文本数据上进行训练,那么 LLM 便可以生成从未观察到的新词序列,而这些语句,都是基于自然人类语言的合理序列。

  不许刷题,ChatGPT 零准备上考场

  ChatGPT 之所以强大,是因为它站在 GPT3.5 的肩膀上。而 GPT3.5 是在 OpenAI 175B 参数基础模型上训练出来的,另外,它还通过强化和监督学习方法,从网络上获取了大量的文本数据。

  但是这次,ChatGPT 是完全的「裸考」了。

  这次的试题,是研究者在 2022 年 6 月,从 USMILE 的官方样题中抽取的 376 道公开试题。

  并且,研究者进行了随机抽查,确保这些题在 2022 年 1 月 1 日以前并没有相关内容被收录进谷歌索引。

  要知道,ChatGPT 的训练数据集就截止在这个时间之前。也就是说,ChatGPT 事先并没有见过这些题。

  实验方法概述

  结果,ChatGPT 在考试中越战越勇,准确性不断提高,这说明,它在不断学习,不断完善自己。

  到最后,它逐渐逼近甚至超过了 USMILE 的及格线。

  ChatGPT 在 USMLE 中的表现相当优异

  另外,在考试中,ChatGPT 还会针对问题产生新的见解,这就可以帮助人类更好地理解问题。

  在实验中,研究者引入了一个量化 AI 生成的解释中包含的洞察力密度(DOI)。可以观察到,ChatGPT 的 DOI 在回答准确的问题中,明显比不准确的问题要高。

  这些数据表明,人类学习者如果回答不正确,可以从 ChatGPT 的输出中获得新见解,来进行补救。

  就是说,ChatGP 不光自己会在全新的试题中自学成学霸,还能用来帮助人类学渣。

  总之,最后研究者得出结论:大型语言模型在医学教育和临床决策上,都有巨大的应用潜力。

  嗯,道理咱都懂,可是论文读到最后都没搞明白,ChatGPT 怎么就成共同作者了呢?

  莫非是研究者觉得,ChatGPT 参加了考试,作了答,所以「对本文亦有贡献」?

  在医学界,ChatGPT「高产似母猪」

  你有没有发现,医学领域的研究人员对「GPT」可谓是达到了痴迷的程度。

  不仅仅是我们这次的主角,文章最开始提到的那篇也是出自一个「神经科学和生理学研究所」。

  而 ChatGPT 的名字,自去年 12 月起,更是频繁地出现在该领域一些经过同行评审的论文当中:

  论文地址:https://www.oncoscience.us/article/571/text/

  不过,在这篇论文中,ChatGPT 是正经写了内容的,咱们一眼就能看出来。

  另外,还有下面这篇论文,ChatGPT 在作者栏中,也占了二分之一的名额。

  论文地址:https://www.sciencedirect.com/science/article/abs/pii/S1471595322002517

  怎样才能算是论文作者?

  一篇论文怎么署名,是一件大事。

  作者署名赋予了作者名誉,也有重要的学术、社会和经济意义。

  ChatGPT 何德何能,和专家们一同登上作者栏呢?

  对此,我们问了问 ChatGPT 是怎么看的:

  其实,关于作者的职责,只需随手一搜就能找到很多详细的讲解。

  既然都是医学领域的论文,不如我们就来看看 ICMJE(国际医学期刊编辑委员会)都有哪些建议。

  简单来说,可以概括为以下四点:

  1. 对研究的思路或设计有重要贡献,或者为研究获取、分析或解释数据;

  2. 起草研究论文或者在重要的智力性内容上对论文进行修改;

  3. 对将要发表的版本作最终定稿;

  4. 同意对研究工作的各个方面承担责任以确保与论文任何部分的准确性或诚信有关的质疑得到恰当的调查和解决。

  所有被指定为作者的人都应该满足作者署名的 4 条标准,而所有满足以上 4 条标准者也都应该被确定为作者。未满足全部 4 条标准者应该出现在致谢部分。

  现在问题来了,ChatGPT 符合几条呢?

  参考资料:

  https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

  https://www.icmje.org/recommendations/translations/chinese2018.pdf