一次性揭秘 Gemini 多模态技术！
就在刚刚，Gemini 模型行为产品负责人Ani Baddepudi在谷歌自家的开发者频道开启了爆料模式。
他和 OpenAI 前员工、现谷歌 AI Studio 产品负责人（Logan Kilpatrick，右）探讨了诸多众人好奇已久的问题：
- 为啥 Gemini 一开始就被设计为原生多模态？
- 将图像和视频转化为 token 时，是否会存在压缩损失或信息丢失？
- Gemini 2.5 为何在视频理解方面表现出色？
- 多模态框架下，一个能力的提升是否会带动其他能力的整体提升？
一言以蔽之，整个谈话几乎都围绕着Gemini 多模态展开，包括其背后设计理念、当前应用以及未来发展方向。
之所以这场谈话值得关注，实在是因为 Gemini 多模态过于响当当和重要了。
2023 年 12 月，谷歌原生多模态 Gemini 1.0 模型正式上线，一举将 AI 竞赛由 ChatGPT 主导的文本领域带入多模态领域。
而最新的 Gemini 2.5 Pro（0605），不仅在代码、推理等任务上更上一层楼，而且还拿下视觉能力第一，可以说夯实了谷歌在多模态领域的领先地位。
此时回看 Gemini 当时的一些设计理念，会发现其前瞻性与创新性不仅为后续的发展奠定了坚实基础，而且对未来仍具有指导意义。
敲黑板，整场谈话干货满满，咱们这就开始~
为啥 Gemini 一开始就被设计为多模态？
一个智能体的世界如果只有文字，能读懂莎士比亚、能编写代码，甚至可以和你进行深入的哲学对话，但它看不到屏幕上跳动的图标、认不出厨房正在烹饪的食材、不能理解一幅画或者一段视频的意境。
这样的智能体完整吗？
谷歌的 Gemini 模型给出了一个响亮的答案：不，不完整。
而这，就是 Gemini 在诞生之初就被设计为多模态的根本原因。
访谈一开始，Logan Kilpatrick 就问了这个根源性的问题：为什么 Gemini 从一开始就被设计为多模态模型？
Ani Baddepudi 强调，如果想要构建通用人工智能（AGI）和强大的 AI 系统，那么多模态的能力必不可少。
最初的目标是为了让模型能够像人类一样看世界，而视觉是人类感知世界的核心组成部分，许多领域（如医学、金融）的任务都有很大的视觉成分，因此多模态设计至关重要。
Gemini 作为一个原生的多模态模型，这意味着它并非将不同的单一模态模型拼凑起来。
而是从零开始，将文本、图像、视频和音频等所有模态都转化为统一的“token 表示”，并在这些信息上进行协同训练。
既然提到了信息“token 化”，Logan Kilpatrick 继续寻求爆料：将图像、视频转化为 token 表示时，是否存在信息损失？模型是如何处理的？
在这个问题上，Ani Baddepudi 承认，将图像、视频转化为 token 表示时会有一些固有的信息损失，如何使特征表示的损失更小是一个需要持续研究的问题。
但令人惊讶的是，模型看到足够多的图像和视频后，即使采样率较低，比如以每秒一帧（1FPS）的速度采样，模型依然能呈现良好的泛化能力。
Gemini 2.5 在视频理解上“令人惊叹”
接下来 Logan Kilpatrick 还特意 cue 到了 Gemini 2.5 系列模型。
在他之前的一篇推文中，Gemini 2.5 Pro 在视频理解方面的 SOTA 成绩令人印象深刻。
而对于这一亮点，Ani Baddepudi 也补充了更多细节。
不过在展开前，他也再次感叹：Gemini 2.5 在视频理解方面相当令人惊叹!
第一，它解决了之前模型在鲁棒性方面的问题。
举个例子，之前给模型输入 1 小时视频，通常它只会关注前5~10 分钟，然后对视频其余部分的关注就逐渐减弱，所以团队针对长上下文视频进行了改进。
第二，它意味着，团队将核心视觉能力的改进泛化到了视频。
简单而言，Gemini 2.5真正解锁了视频作为信息媒介的能力，能够完成将视频转换为代码（如食谱、讲座笔记）等非常实用的任务。
第三，它让团队看到了多模态能力的正向迁移以及多项视觉能力整合。
Ani Baddepudi 表示，拥有一个单一多模态模型的好处在于，能够看到大量的积极能力迁移。
就拿 Gemini 2.5“视频转代码”功能来说，这其实是因为模型在代码处理能力方面本身就更强大。
其次，过去需要独立模型处理的 OCR、检测、分割等能力，现在都整合进了 Gemini 中，从而带来了许多新的用例。
例如转录视频时，既需要强大的 OCR 能力，也需要强大的时间理解能力，才能让模型理解视频中发生了什么然后进行转录。
还包括让 Ani Baddepudi 等人感到兴奋的一个用例——结对程序员，即通过流式传输 IDE 视频，然后询问代码库问题。这需要模型具备强大的编码、核心视觉（空间理解、OCR）以及对视频中信息随时间变化的理解能力。
总之，按照 Ani Baddepudi 的说法，Gemini 是少数能够进行视频输入和最先进视频理解的基础模型之一。
当然，这背后也离不开一些关键技术。
据 Ani Baddepudi 透露，要让 Gemini 理解视频，它需要同时理解音频和视觉部分。这是一个相当棘手的问题，因为你需要这些东西对齐。
目前的解决方案是，在视频的每个给定时间块（或小片段）内，将该时间块的音频信息和与该音频对应的视频帧（即图像）交错在一起进行处理。
所谓“交错”是指，将同时发生的音频和视觉信息捆绑或混合起来，供模型共同学习和理解。
这一方法在泛化方面非常出色，能让模型很好地理解视频，表现非常自然。
此外，尽管当前主要以 1FPS（每秒帧数）采样进行训练，但通过更高效的 token 化方式（每帧用 64 个 token 表示，而非之前的 256 个），模型能够在较低细节下实现令人惊讶的高性能。
通过这一方式，Gemini 现在可以处理长达 6 小时的视频，拥有 200 万上下文 token。
而且 Ani Baddepudi 表示，团队正在努力支持更高帧率的视频理解，以应对如高尔夫挥杆分析、舞蹈动作评判等需要更精细时间细节的用例。
“万物皆视觉”的产品理念
Ani Baddepudi 还提到了 Gemini“万物皆视觉”的产品理念。
他将视觉用例分为三类，这些分类指导着产品开发的方向。
第一种是现有模型能做到的。
比如传统的 OCR（光学字符识别）、翻译、图像检索（例如 Google Lens 用于购物）、以及分类（例如识别植物或动物）等。
第二种是人类专家能够做到的。
比如文档分析、内容整理与视频理解与推理等，这些任务通过 Gemini 的视觉能力能够更高效、无损地完成。
第三种是超越人类或在可行时间内无法完成的任务。
比如将讲座视频转换为可交互式学习的应用程序、在烹饪时主动提醒何时加入食材。
再比如，当你在城市中行走时，可以通过视觉向 Gemini 提问关于周围事物的问题，而不需要费力地将问题转化为文本。
这就需要模型不仅能够看到屏幕上的内容，还能看到真实的物理世界。
关于未来产品的体验，Ani Baddepudi 给出了极具吸引力的回答：想象你有一个专家人类在你的肩膀上，看到你所能看到的一切，并帮助你完成事情。
关于 Gemini 多模态团队
聊天最后， Ani Baddepudi 分享了 Gemini 多模态团队的协作方式和工作重心。
在他看来，要想实现多模态能力，这离不开一支庞大的研究队伍。
- 多模态之所以令人惊叹，是因为它拥有如此多的能力，而要实现这些能力，一个非常困难的问题是需要将这些能力整合到一个单一模型中，并确保每种能力都能表现出色。
就是说，每整合一种能力都需要相关方向的大量人才。
然后，他进一步解释了团队如何将研究转化为产品。
首先，团队深入思考开发者和消费者将如何使用这些视觉能力，并努力将这种直觉融入到模型中，形成了紧密的产品-模型反馈循环。
- 一年后、两年后、五年后人们将如何与这些模型互动？
因为在 Ani Baddepudi 看来，今天开发的许多能力都是构建未来愿景的基石。
而且他认为接下来的重点是，如何让这些模型感觉更自然、更具交互性。
- 目前许多 AI 产品都是“回合制”系统（即你查询模型，它返回答案，然后你再次查询），这感觉“不自然”且“有点过时”。
至于具体如何实现，Ani Baddepudi 从模型行为角度出发归纳了以下几点：
- 赋予模型同理心（empathy）；
- 让模型不仅能够理解用户，还要能理解用户的隐含意图；
- 在平衡 Gemini 现有强大原生能力的同时，赋予模型“个性”（personality）。
同时他还提到，鉴于目前许多 AI 用例只返回大量文本，他正在思考是否能用有趣的视觉形式来以更信息密集或“高热量”（high-calorie）的方式传达信息。
- 这也许是让 Gemini 变得“友好”且“易于交流”的关键突破点。
