ICML征稿禁止使用大型语言模型,LeCun转发:中小型模型可以用吗?

  新智元报道

  编辑:昕朋 David

  AI 顶会 ICML 征稿日在即,关于道德准则的新政策却引来网友不满!规则要求作者不能使用大型语言模型,网友评论区刷屏询问:为什么?

  昨天,国际机器学习会议(ICML)发布了 2023 论文征稿公告。

  论文提交日期为 1 月 9 日至 1 月 26 日。

  然而,本次会议中关于「道德准则」的要求却引来了众多不满。

  LLM 不可控,还是 ban 掉吧

  根据大会的政策,所有作者和程序委员会成员,包括审稿人,应遵循标准的道德准则。

严禁任何形式的抄袭,以及审稿人、领域主席(AC)和高级领域主席(SAC)对特权信息的不道德使用,例如共享此信息,或将其用于评审过程以外的任何其他目的。 禁止包含从大规模语言模型(LLM)(如 ChatGPT)生成的文本的论文,除非这些生成的文本作为论文实验分析的一部分呈现。 所有可疑的不道德行为都将由道德委员会进行调查,被发现违反规则的个人可能会面临制裁。今年,我们将收集被发现违反这些标准的个人姓名;如果代表会议、期刊或其他组织的个人出于决策目的要求提供此列表,我们可能会向他们提供此信息。

  其中,「禁止使用大型语言模型写论文」一条要求被网友热议。

  此消息已发布,网友纷纷在 ICML 推特下评论:「为啥不能用大型语言模型?」

  AI 论文不能用 AI,合理吗

  Yann LeCun 转发并评价:「大型语言模型不能用,意思是中型和小型语言模型还可以用。」

  他解释说:「因为拼写检查应用和文本预测也是语言模型。」

  最后,LeCun 阴阳道:「明年的 ICML 道德准则应该变成:研究人员必须徒手完成各种计算,不能借助计算机;各类图形必须用笔和纸手绘;从今天起,ICML 的官方语言变为瑞典语(瑞典:?)。」

  最后,还不忘转发一部电影《疯了》,总结自己对 ICML 政策的评价。

  在 LeCun 的帖子下,网友们各显神通,纷纷整活。

  一位网友给 ICML 提供了新的思路:「另一种表述此策略的方式是‘提交中的所有文本都应由参数小于 100B 或超过 1 万亿的神经网络生成’。」

  还有人假装是 ICML 的评审,给 ChatGPT 打广告:「作为 ICML 和其他会议的评审 ,我很欣赏作者们使用 ChatGP 等工具润色文章。这会让他们的论文更加清晰易读。(该帖已经过 ChatGPT 的修改)」

  对于该规则,MIT 教授 Erik Brynjolfsson 简单概括:「这是场必败之仗。」

  除了整活玩梗,也有人认真表达了自己对 ICML 规定的想法。

  AAAI 前主席 Thomas Dietterich 说:「这个规定很怪,对于一个人工智能会议来说更是如此。我们应该欢迎所有为科学技术做出贡献的文章,不论作者是否接受了 AI 的辅助。」

  也有人给 ICML 改进建议:

使用大型语言模型来进行审校对于改善拼写和语法很有裨益。Grammarly,Notion,Google Docs 甚至 Word 都会用到大型语言模型。 看起来,解决方法是解释清楚使用大型语言模型的原因和用途,而非一味禁止。

  原来不止我用 Grammarly 检查拼写和语法(doge)。

  当然,也有网友对此表示了理解,认为此举是为了保护评审的权威。

  网友 Anurag Ghosh 评论道:「我认为 ICML 的要求是为了防止那些看似正确的论文发表。例如机器学习领域发表的 5 篇编造/AI 生成的论文。这会暴露同行评审的缺陷。」

  也有人认为,「大型语言模型只是工具,如果它们就可以生成质量更高的论文,那又如何?这些研究的主要贡献不来自于大型语言模型,而来自那些研究人员。难道我们要禁止研究人员接受任何形式的帮助,比如谷歌搜索,或是不能和没有利害关系的人谈论此事吗?」

  由于最近几年大语言模型的热度始终不减,这次 ICML 提出的禁令引发的学者和网友热烈讨论,想必还会持续一段时间。

  不过目前看下来,有一个问题似乎还没人讨论,如何判断一篇文章的片段是不是大语言模型生成的?如何验证,靠查重吗?毕竟真要是机器模型生成的文章,谁也不会特意标注一个「本文是大语言模型自动生成的」,对吧?

  更何况,研究论文这种逻辑清晰、结构明确、语言风格高度模式化的文章,简直就是大语言模型发挥的最佳场所,即使是生成的原文略显生硬,但如果是当个辅助工具来用,怕是很难辨别,也就难有明确的标准来实施这个禁令。

  这样看来,这次 ICML 的审稿人肩上的担子,怕是又要重了不少了。

  参考资料:

  https://icml.cc/Conferences/2023/CallForPapers

  https://twitter.com/ylecun/status/1610367976016064513