国思软件 - GPT-4o准确率仅为24%！权威中文教育基准：知识+情商的双重考验

　　新智元报道

　　编辑：LRST

　　华东师范大学智能教育学院发布 OmniEduBench，首次从「知识+育人」双维度评测大模型教育能力。测评 2.4 万道中文题后，实验结果显示：GPT-4o 等顶尖 AI 会做题，却在启发思维、情感支持等育人能力上远不及人类，暴露 AI 当老师的关键短板。

　　近年来，大模型在知识问答、数学推理等方面取得了惊人进展。

　　然而，当这些技术被引入复杂的教育环境时，一个关键问题随之而来：我们现有的评估方式足够吗？我们如何全面评估它们的能力？一个好的「AI 老师」仅仅是一个「解题高手」吗？

　　当前的评测基准，尤其是在中文领域，存在两大局限性：

维度单一：绝大多数基准（如C-Eval, MMLU 等）主要关注模型的知识储备和理解能力，即「知识维度」。此外大多数基准题型简单，很难涵盖现实考试场景中的全部题型类型。
忽视能力：它们很大程度上忽视了教育场景中不可或缺的「育人维度」（Cultivation Capabilities），例如启发式教学、情感支持、道德价值观培养、批判性思维引导等。

　　近日，来自华东师范大学的研究者们推出了OmniEduBench，一个专为评估中文大模型「综合教育素质」而设计的全新基准，包含 24,602 个高质量问答对。

　　研究指出，现有基准大多集中在知识维度，而严重忽视了真实教育场景中至关重要的「育人能力」。

　　项目主页：https://mind-lab-ecnu.github.io/OmniEduBench/

　　论文链接：https://arxiv.org/pdf/2510.26422

　　代码仓库：https://github.com/remiMZ/OmniEduBench-code/tree/main

　　论文第一作者为华东师范大学智能教育学院副研究员张敏，其主要研究方向为多模态大模型及 AI 赋能教育。研究团队发现，即便是 Gemini 等顶尖闭源模型，在 OmniEduBench 的特定评测维度上也表现不佳，显示出当前大模型在真正「懂教育」上仍有显著差距。

　　OmniEduBench

　　覆盖全学段、全学科

　　OmniEduBench 的核心创新在于其独特的双维度评估体系。

　　维度一：知识维度 (Knowledge Dimension)

　　这部分包含 18,121 个条目，旨在全面考察模型的学科知识掌握程度。

全学段覆盖：涵盖从小学、中学、高中、大学到专业考试的五个难度级别。
全学科覆盖：包含41 个不同学科，从人文历史（如中国古代文学史）、理工科（如高等数学、植物生理学）到专业领域（如法学、医学综合）。
题型丰富：包含 11 种常见的考试题型，如单选、多选、填空、简答、名词解释、案例分析和论述题等。

　　维度二：育人维度 (Cultivation Dimension)

　　这部分是 OmniEduBench 的精髓所在，包含6,481 个条目，专注于评估模型在真实教学互动中的「软实力」。

　　聚焦核心素养，围绕 6 大细分领域和20 个具体教学主题，如：

思维与认知 (Thinking & Cognitive Skills):批判性思维、问题解决能力。
个性化发展 (Personalized Development):启发式教学、兴趣驱动学习。
情感与心理健康(Emotional & MentalHealth):同理心与共情、成长型思维。
品格与价值观 (Character & Values):责任感、正直诚信。

　　例如，在「育人维度」中，模型需要面对这样的情景题：「有学生在参观烈士陵园时嬉笑打闹，我很生气，该怎么处理？」

　　考察的不仅是知识，更是模型的情商、价值观和教育智慧。

　　防泄露、高挑战

　　为了确保基准的质量与挑战性，OmniEduBench 的构建过程堪称严苛，历经四道关卡：

多源收集 (927K)：汇聚公开数据 (21K)、内部试卷等私有数据 (106K)，并利用 LLM 生成场景化问答 (800K)，确保数据来源的多样性与独特性。
结构化清洗 (657K)：统一格式，提取学科、年级、题型等元数据，并进行去重、去敏感内容、去外部信息依赖等标准化清洗流程。
双机筛难 (50K)：为避免模型「背题」，用两款强大的模型进行「对抗式」筛选。先用 QWQ-32B 过滤掉它能答对的简单题，再用更强的 Qwen3-235B 进行二次筛选，只保留高难度样本。
专家定版 (24.6K)：最后，由 50 位硕士生和 5 位资深专家进行最终的人工审核与质量校验。最终抽样质检显示：整体质量 4.8/5，答案准确性 4.8/5，标注者一致性高达 0.90。

　　实验结果

　　最强闭源模型也难应对

　　研究团队在 OmniEduBench 上对 11 个主流的闭源和开源 LLM（包括 GPT-4o, Gemini-2.5 Pro, Claude-4 Sonnet, Qwen 系列， DeepSeek-V3.1 等）进行了全面测试，结果发人深省：

　　发现一：知识维度「水土不服」，GPT-4o 表现不佳在知识维度上，只有 Gemini-2.5 Pro 的平均准确率超过了 60% (62.76%)。令人惊讶的是，强如 GPT-4o 在该项测试中表现不佳，准确率仅为 24.17%，远低于多个顶尖开源模型（如 QwQ-32B 为 53.87%）。这可能表明 GPT 系列在处理多样化、本土化的中文教育考试风格题目时存在明显的「水土不服」。

　　发现二：「育人」能力是集体短板，距人类水平差距巨大在更关键的育人维度上，所有模型都暴露了短板。尽管任务形式相对简单（多为选择题），但即便是表现最好的模型（QwQ-32B，准确率 70.27%），与人类在该领域的表现相比，仍有近 30% 的巨大差距。这表明当前 LLM 在同理心、启发式引导等高级教育能力上普遍缺乏。

　　发现三：高难度子集 (OmniEduBench HARD) ，让顶尖模型「现形」研究团队还构建了一个高难度子集 OmniEduBench HARD。在这个子集上，所有 LLM 的性能都出现了「断崖式」下跌，即便是最强的 Gemini-2.5 Pro，准确率也不足 50%，充分证明了该基准的挑战性和区分度。