仅0.27B参数!谷歌开源史上最小Gemma 3,手机能跑,25次对话耗电不到1%

  智东西

  作者李水青

  编辑云鹏

  智东西 8 月 15 日消息,今天,谷歌推出史上最小 Gemma 3 开源模型,一个拥有 2.7 亿个参数的轻量级模型,底层设计以特定任务微调为目标,具备强大的指令跟踪和文本能力。

  在指令执行能力测试中,如 IFEval 基准测试所示,Gemma 3 270M 超越了尺寸更大的 Qwen2.5 0.5B Instruct,与 Llama 3.2 1B 能力比肩。

  Gemma 3 270M 在一些特定任务上能达到甚至超越大模型的能力。该模型的尺寸和性能使其非常适合离线、基于网页的创意任务。比如谷歌公布了一个案例,其用 Gemma 3 270M 驱动一款使用 Transformers.js 的睡前故事生成器网页应用,通过简单的勾选就可以生成精彩的睡前故事。

  Gemma 3 270M 的核心能力如下:

  1、轻量而强大的架构。该模型共有 2.7 亿个参数,由于词汇量庞大,嵌入参数有 1.7 亿个,Transformer 模块参数有 1 亿个。得益于 256k 个 token 的庞大词汇量,该模型能够处理特定和稀有的 token,使其成为可在特定领域和语言中进一步微调的优质基础模型。

  2、极致能效。 该模型的一大优势在于低功耗,其在 Pixel 9 Pro SoC 上进行的内部测试表明,INT4 量化模型在 25 次对话中仅消耗 0.75% 的电量,使其成为谷歌最节能的 Gemma 模型。

  3、指令遵循。该模型同步发布了指令微调版本与预训练检查点(checkpoint)。虽然该模型并非为复杂的对话用例而设计,但其基础指令遵循能力出色,可 “开箱即用” 地响应通用指令。

  4、可用于生产的量化。模型提供量化感知训练(Quantization-Aware Trained, QAT)检查点,支持以 INT4 精度运行,且性能损失极小,这对于在资源受限设备(如手机、边缘设备)上部署至关重要。

  换句话说,如果用户有一个高容量、定义明确的任务,在成本上需要精打细算,又需要快速迭代和部署,或是有保护隐私的需求,他都适合选择 Gemma 3 270M。

  Hugging Face 地址:

  https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

  结语:轻量化模型释放端侧智能

  此前,谷歌 Gemma 开源模型加速迭代:先是适用于单云和桌面加速器的 Gemma 3 和 Gemma 3 QAT 发布,随后是将强大实时多模态 AI 直接引入边缘设备的 Gemma 3n 推出,本次 Gemma 3 270M 的推出填补了轻量模型版块。

  轻量化模型正在打破参数迷信。大模型领域长期存在 “参数规模决定性能” 的固有认知,Gemma 3 270M 展现出小模型遵循指令的能力以及微调后的威力。从轻量而强大的模型入手,用户可以构建精简、快速且运行成本显著降低的生产系统。