昨日，夸克 AI 实验室发文宣布，其健康大模型的技术报告日前已在 Github 和 arXiv 上发布，并公布了相关技术细节和训练策略，旨在为人工智能驱动的医疗咨询、诊断辅助和医疗搜索等应用提供坚实基础。
夸克指出，其健康大模型专为满足医疗领域复杂且高风险的需求而设计，通过精细处理的医疗数据、先进的检索增强生成（RAG）系统，以及大规模可验证的强化学习流程，满足用户的各类需求。
据悉，在模型训练不同阶段，夸克团队使用了三类核心医疗数据：医学资料、医学知识和医疗记录。
- 医学资料：团队建立了一个全面的医学资料库，库中事实类知识覆盖率达到 90% 以上，概念类知识覆盖率达到 84%，程序类知识覆盖率达到 75% 以上。
- 医学知识：对于非结构化知识数据，团队基于特定方法的数据选择流程，将其用于持续预训练、指令微调、监督微调和强化学习等阶段。
- 医疗记录：团队从两个接近实践的渠道中整理了一个大规模语料库。所有材料均经过严格的 PHI 移除流程，并将非结构化文本规范化分割成连贯的临床文档。
成绩方面，团队对夸克健康大模型在一系列公共（外部）和私有（内部）基准上进行了评估。结果显示，它在同等规模模型中展现出了先进的性能，甚至与更大规模的专有模型相比也表现出了竞争力：
- 外部基准测试表现：与约 30B 参数类别中的其他领先开源模型相比，夸克健康大模型在各种医学问答和推理任务中表现出了更优异的性能。
- 内部基准测试表现：中国医师资格考试（CPQExam）分为初级、中级、副高级、高级四个级别。在与通用模型对比中，夸克健康大模型呈现出考试难度越高、领先优势越明显的性能曲线。
