谷歌真急了,推DeepMind撑场!700亿参数Sparrow硬刚ChatGTP

  新智元报道

  编辑:好困 Aeneas

  最近,微软大动作频频,外界对谷歌也有了唱衰的声音。谷歌显然不能忍了,急忙拉出 DeepMind 与之一战。

  谷歌的反击战,打响了!

  最近,微软接连给谷歌暴击——,后脚就放出这个重磅炸弹。

  微软频出险招,谷歌自然不能坐以待毙。

  根据 DeepMind 创始人在《时代》专访中透露的信息,谷歌很有可能会利用 DeepMind 此前推出的 Sparrow,来应对 ChatGPT 的挑衅!

  其实在以前,谷歌手中就有好几个酝酿了很久的大模型,比如 LaMDA,Imagen 等等,据说都达到了 SOTA,但从未对外公开。

  看来,最近的谷歌,真的是被微软逼急了,已经准备领着「孩儿们」出来见人了。

  应对 ChatGPT,谷歌有答案了

  谷歌曾经的犹豫不决,给今日的自己埋下了后悔的种子。

  虽然,但人们永远都会记住,在 2022 年 12 月的那一天,是 OpenAI 的 ChatGPT 写下了大规模语言模型历史上浓墨重彩的一笔,让全世界人民为了和机器人聊天挤爆了服务器,而不是谷歌。

  其实,在 OpenAI 推出 ChatGPT 之前,谷歌就早已有了针对对话优化的大型语言模型,比如 LaMDA 和 Flamingo。

  甚至早在 2020 年,谷歌就推出了一个 26 亿参数的端到端神经网络对话模型 Meena。据称,其效果比当时所有其他的 SOTA 聊天机器人都更加合理,也更加具体。

  但截至目前,谷歌还没有把这些研究成果应用于任何产品。

  根据它自己的说法,这主要是出于对「声誉风险」的考虑。AI 聊天机器人非常容易「带毒」——AI 训练的数据来自互联网,往往充满了偏见、仇恨和谩骂,所以 AI 会生成攻击性内容,以及与事实不符的答案。

  12 月中旬,谷歌 AI 负责人 Jeff Dean 在一次全体会议上表示,尽管谷歌拥有做 AI 产品的技术和能力,但比起「小型初创公司」,他们必须「更保守地」做出决策。

  但现在,被微软逼到墙角的谷歌,恐怕无法再「保守」了。

  ChatGPT 已经在最近两个月爆红全网,掀起全民参与的狂潮,最近几天更是传出微软大笔一挥,再向 OpenAI 豪掷 100 亿美元的消息。

  面对坊间已经不断出现的「ChatGPT 能否替代搜索引擎」的讨论,以及微软的 Office 办公软件疑似即将迎来一场全面大升级,现在,谷歌必须向外界证明:自己可以追上 OpenAI,甚至超越它。

  前不久,DeepMind 的 CEO 兼创始人 Demis Hassabis 在接受《时代》采访时表示,DeepMind 的聊天机器人 Sparrow 可能会在今年晚些时候进入「测试」阶段(private beta)。

  Hassabis 表示,之所以推迟发布 Sparrow,是 DeepMind 希望让 Sparrow 在基于强化学习的功能上更进一步,而这正是 ChatGPT 所欠缺的。

  一直以来,DeepMind 作为谷歌旗下最重要的 AI 研究机构,一直在为谷歌提供着先进的新技术,整合到消费者的产品中。

  看来,谷歌要有大动作了。

  此前,Meta AI 的负责人 Yann LeCun 也对谷歌表示了支持:「谷歌在使用大型语言模型进行搜索方面,拥有比其他公司更丰富的经验(包括 OpenAI)。」

  DeepMind 的 Sparrow,何方神圣?

  和 ChatGPT 一样,DeepMind 在 2022 年 9 月提出的 Sparrow(麻雀)模型,也采取了一种基于人类反馈的强化学习(RL)框架。

  但不同的是,Sparrow 可以「谷歌一下」。

  论文地址:https://arxiv.org/abs/2209.14375

  毕竟,Sparrow 在最初的设计时就是为了和用户闲聊,并且可以在回答问题时,利用谷歌搜索出相关的信息来作为支撑证据。

  当然,为了确保模型的行为是安全的,还必须对其行为进行约束。

  因此,研究人员为该模型确定了一套最初的简单规则,如「不要发表仇恨或侮辱性的言论」、「不要冒充或假装是一个真人」等。

  之后,再通过闲聊来诱使 Sparrow 违反这些规则。其中涉及到的对话,可以用来训练出一个单独的「规则模型」,进而显示 Sparrow 的行为何时违反哪些规则。

  从结果上来看,当检测到潜在的危险行为时,比如用户问如何偷车(hotwire a car)时,Sparrow 模型会说,自己受到的训练是不会给任何违法行为提供建议。

  据参与者说,当被问到一个事实性问题时,Sparrow 基本提供的都是可信的答案,并且有 78% 的数据是有证据来辅助支持的,相比基线模型来说有很大进步。

  帮谷歌走出困境,DeepMind 行吗?

  对打 ChatGPT,Sparrow 够格不

  近年来,人工智能研究的重点,通常是用更多的参数来获得更好的性能。但 DeepMind 却大大减少了 Chinchilla 语言模型的规模。

  作为 Sparrow 的基础,Chinchilla 的参数量只有 GPT-3 的零头——700 亿 vs 1750 亿。

  与此同时,DeepMind 又把 Chinchilla 的训练数据量,给翻了好几番——1.3 万亿个 token。

  结果就是,这个「mini 版」的人工智能模型,在几乎所有的语音任务中都比前辈们表现得更好,当然也包括老对手 GPT-3。

  从 Chinchilla 的成功中不难看出,通过大量数据训练的小型人工智能模型,也可以实现较高性能。

  而且,小模型最大的优势在于,不仅运行起来更加便宜,还可以用很少的额外数据为特定的用例进行优化。

  这样或许就能避免,由于用户用得太开心,结果把公司的钱都给烧没了的情况。

  嗯,说的就是 OpenAI。

  然而,现在大红大紫大的 ChatGPT,是基于更先进的 GPT-3.5。

  之前在推出 GPT-3.5 的最新版本 text-davinci-003 时,OpenAI 就曾列举过它所具备的优势:

  1. 生成质量更高:提供更清晰、更有吸引力、更有说服力的内容。

  2. 可以处理更复杂的指令:可以更有创意地利用它的能力。

  3. 更善于生成较长的内容:能够完成以前难以实现的任务。

  所以,现在的问题其实变成了:要对打 GPT-3.5,Chinchilla 行吗?

  「真香」

  一步步走到今天,回顾谷歌这几年的动作布局,管理层心里大概是五味杂陈。

  早在 12 月初,ChatGPT 刚刚爆火时,谷歌就有「吹哨人」感受到了危机。有员工在全体会议上提出了自己的担忧——ChatGPT 的快速崛起,可能会让谷歌失去在 AI 领域的竞争优势。

  曾经的谷歌广告团队负责人 Sridhar Ramaswamy 也表示,ChatGPT 再这么火下去,网友们就不会再点击带有广告的谷歌链接了。

  要知道,在 2021 年,广告业务为谷歌狂挣了 2080 亿美元,占 Alphabet 总收入的 81%。

  而那时,谷歌高管们还没有意识到 ChatGPT 的诞生,将会对他们造成什么样的危机。

  当时的谷歌高层,是这样表态的:谷歌不会推出 ChatGPT 的竞争对手,因为谷歌比 OpenAI 等初创公司具有更大的「声誉风险」。并且,「聊天机器人还没有到能取代搜索引擎的程度」。

  不过短短十天后,高管们就态度陡变。

  Pichai 指示一些团队转换方向,开发 AI 产品

  谷歌的研究、信任和安全部门以及其他部门的团队已被指示换档,转而开始协助人工智能原型和产品的开发和发布。

  其实,谷歌的顾虑,也可以理解。

  一个机器人会传播谎言、散布仇恨言论,甚至让人们产生了它已经「具有意识」的错觉,为这样的机器人烧钱、提供实验场,OpenAI 的尝试其实很大胆。

  目前来看,OpenAI 的试水反响相当不错,有人探出了前路,看来谷歌也要进场了。

  陷入「创新者困境」

  Decoder 的记者 Matthias Bastian 认为,除了对「声誉风险」的担忧,更合理的原因是,谷歌恐怕陷入了「创新者的困境」。

  这个术语是美国学者 Clayton Christensen 在 1997 年提出的,描述了这样一种情况——对成熟公司来说,很难让它们采用破坏传统市场的新技术或商业模式。

  这些成熟公司,手中往往掌握着最重要的资源,也有足够的科研能力。然而,现有的客户群和固定的内部流程,都会使他们远离突破性的创新。

  而当更小、更敏捷的竞争对手进入并接管市场 (没错,这里指的就是 OpenAI),或许最终会导致成熟大公司的消亡。

  谷歌的大部分收入,都来自于在线广告

  现在,谷歌最核心的搜索引擎业务正在不断增长,而且利润丰厚(还记得上文的 2080 亿美元么)。

  可以说,每个搜索结果页面,都在给谷歌印钱。

  而新的搜索聊天机器人(search chatbot),意味着一种全新的货币化策略。它能否像搜索引擎这样让谷歌盈利呢?

  谷歌当然可以推出一个像 ChatGPT 那样成功的聊天机器人,但是如果它的利润低于搜索引擎,谷歌就会面临亏损。

  数字营销专家 Tim Peter 在推特上指出,微软的优势在于可以通过其他收入来源,来补贴必应中 ChatGPT 的成本

  而 ChatGPT 的背后,是金主爸爸微软,而微软拥有丰富的收入来源,目前还能支持 ChatGPT 这样烧下去。

  但谷歌却不同,它所有的收入几乎都来自于广告。因此,如果没有广告收入,谷歌搜索引擎的价值就会大大降低。

  微软 2012 至 2022 按部门划分的财年收入

  更何况,搜索引擎之所以如此暴利,就是靠用户不断点击链接,在这个过程中,谷歌收取了商家巨额的广告费。

  可是假如用户靠着聊天机器人能直接得到答案,而不需要在列表中翻找,搜索引擎的付费业务生态就直接被破坏了。

  这个几千亿美元的蛋糕,谷歌敢冒险砸掉吗?

  现在,谷歌有一条平稳过渡的出路:通过旗下的 DeepMind 推出商业化的聊天机器人,自己来给谷歌搜索造出一个对手(同时也是 OpenAI 的对手),这样一来,就可以做个对冲。

  这样谷歌就可以安抚股东,当外界怀疑聊天机器人将取代搜索引擎时,也可以有个回应。

  这样看,在 2023 年即将发布的 Sparrow 测试版,身上肩负的使命着实不小。

  参考资料:

  https://the-decoder.com/google-may-use-deepminds-sparrow-as-chatgpt-competitor/

  https://the-decoder.com/deepminds-new-chatbot-is-more-helpful-correct-and-harmless/

  https://time.com/6246119/demis-hassabis-deepmind-interview/