国思软件 - Qwen2.5更新百万超长上下文,推理速度4.3倍加速,网友：RAG要过时了

　　鱼羊发自凹非寺

　　量子位公众号 QbitAI

　　国产大模型，最近有点卷。

　　这不，刚在写代码这事儿上刷新 SOTA，Qwen2.5 系列又双叒突然更新了——

　　一口气读三本《三体》不费事，并且 45 秒左右就能完整总结出这 69 万 token 的主要内容。

　　还真不是糊弄事儿，“大海捞针”实验显示，这个全新的 Qwen2.5-Turbo 在 100 万 token 上下文中有全绿的表现。

　　也就是说，这 100 万上下文里，有细节 Qwen2.5-Turbo 是真能 100% 捕捉到。

　　没错，Qwen2.5 系列新成员Qwen2.5-Turbo，这回主打的就是支持超长上下文，并且把性价比卷出了花儿：

关键是还便宜：0.3 元/1M tokens。这意味着，在相同成本下，Qwen2.5-Turbo 可以处理的 token 数量是 GPT-4o-mini 的 3.6 倍

　　看到这波更新，不少网友直接爆出了***：

　　有人直言：这么长的上下文这么快的速度下，RAG 已经过时了。

　　还有人开启大赞特赞模式：现在在开源领域，Qwen 比 Llama 还值得期待了。

　　上下文能力扩展不影响性能

　　除了一口气啃下 3 本长篇小说，Qwen 官方还展示了 Qwen2.5-Turbo 超长上下文的更多实用功能。

　　比如快速掌握一整个代码库的信息。

　　如 Demo 所演示，上传包含 Qwen-Agent 仓库中所有代码文件的文本文件（13.3 万 token），只需几秒钟，大模型就能读完全部代码并准确输出各种细节。

用户：这个存储库中有哪些 Agent 子类？提供它们的文件路径。

　　一口气读 7 篇论文，完成论文分类、论文摘要，也不在话下。

　　我们实际测试了一下。可以看到，在没有给任何提示的情况下，Qwen2.5-Turbo 能准确掌握不同论文的细节信息，并完成对比分析。

　　除了大海捞针实验之外，Qwen 团队还在更复杂的长文本任务上测试了 Qwen2.5-Turbo 的能力。

　　包括：

RULER：基于大海捞针的扩展基准，任务包括在无关上下文中查找多“针”或回答多个问题，或找到上下文中出现最多或最少的词。数据的上下文长度最长为 128K。
LV-Eval：要求同时理解众多证据片段的基准测试。Qwen 团队对 LV-Eval 原始版本中的评估指标进行了调整，避免因为过于严苛的匹配规则所导致的假阴性结果。数据的上下文长度最长为 128K。
Longbench-Chat：一个评价长文本任务中人类偏好对齐的数据集。数据的上下文长度最长为 100K。