Yandex开源LLM训练工具,节省高达20%的GPU资源

  跨国科技公司 Yandex 最近推出 YaFSDP,这是一种用于训练大型语言模型(LLM)的开源方法。YaFSDP 是目前最有效的公开可用工具,用于增强 GPU 通信并减少 LLM 训练中的内存使用量,与 FSDP 相比,其训练速度提升最高可达 26%,具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。