
快科技 4 月 10 日消息,今日,字节跳动豆包大模型团队宣布,正式开源首个多语言类 SWE 数据集——Multi-SWE-bench,可用于评估和提升大模型"自动修 Bug"能力。
在 SWE-bench 基础上,Multi-SWE-bench 首次覆盖 Python 之外的 7 种主流编程语言(Java、Go、Rust、C、C++、TypeScript、JavaScript),是真正面向"全栈工程"的评测基准。
Multi-SWE-bench 包含 1632 个实例,均来自 GitHub issue,并经过统一的测试标准和专业开发者的审核筛选,确保每个样本具备清晰的问题描述、正确的修复补丁以及可复现的运行测试环境。
豆包大模型团队希望,Multi-SWE-bench 能作为大模型在多种主流编程语言与真实代码环境中的系统性评测基准,推动自动编程能力向更实用、更工程化的方向发展。
团队表示,相比于以往聚焦 Python 的单语言任务,Multi-SWE-bench 更贴近现实中的多语言开发场景,也更能反映当前模型在"自动化软件工程"方向上的实际能力边界。