时令发自凹非寺
量子位 | 公众号 QbitAI
AI 看世界的方式，与人类大脑保持一致。
但究竟是什么因素驱动了这种脑-模型相似性，至今仍缺乏清晰认识。
为此，FAIR 与巴黎高等师范学院通过训练自监督视觉 Transformer 模型（DINOv3），并使用功能性磁共振成像（fMRI ）和脑磁图（MEG）从不同指标评估脑-模型相似性。
结果发现，模型大小、训练数据量和图像类型都会影响模型与大脑的相似度，而且这些因素之间还有相互作用。
特别是，规模最大、训练量最多，并使用人类相关图像训练的 DINOv3 模型，在脑相似性评分最高。
研究还发现，类脑表征在 AI 模型中的出现遵循特定的时间顺序：模型先对齐人类早期感觉皮层表征，而要像大脑的高层区域（例如前额叶）一样处理信息，则需更多训练数据。
这一发展轨迹与人类大脑皮层的结构与功能特性高度一致。模型在训练后期学到的表征，恰好对应大脑中发育最晚、最厚、髓鞘最少、处理速度最慢的区域。
DINOV3 学到的与大脑一致
DINOv3 是一种自监督视觉 Transformer 模型，已在 17 亿张自然图像上进行训练。
为了进行全面评估，研究人员从零训练了 DINOv3 模型的 8 个变体，以覆盖不同的模型规模、训练数据量和数据类型。
为了对比不同类型图像对模型训练的效果，研究者重新训练了三种 DINOv3 模型，分别使用人类中心图像、细胞图像和卫星图像，且每类图像数量均为 1000 万张。
在评估 DINOv3 模型与人类大脑视觉表征的相似度时，研究从功能性磁共振成像（fMRI ）和脑磁图（MEG）中筛选出 15 个具有代表性的感兴趣区域（ROIs） ，覆盖从低级视觉皮层到高级前额叶皮层的完整视觉加工层级。
结果显示，随着训练的进行，DINOv3 学到的表征会逐步与人脑的表征相一致。
其次，DINOv3 学会的这种表征层级，与大脑中的空间层级和时间层级相对应。
为了继续探究 DINOv3 中类脑表征的出现，研究人员在 DINOv3 每个选定训练步骤上评估编码评分、空间评分和时间评分，并用“半达时间”总结其发展速度，即达到最终评分一半所对应的训练步骤。
令人惊讶的是，这些编码、空间和时间相关的评分都会在训练过程中出现，但出现的速度各不相同。
低级视觉区表征通常在 DINOv3 训练的早期就获得，而要学到与前额叶皮层类似的表征，则需要更多的训练。
其次是模型大小，更大的模型在训练中更快表现出类脑特征，脑评分更高，尤其是在高级脑区表现明显。
最后是图像类型，即使只使用卫星图像或细胞图像训练的模型，也能显著捕捉到脑信号，但使用人类中心图像训练的模型在所有脑区的编码效果更高。
这一结果可能是因为人类中心图像更接近大脑日常接触的视觉输入，而卫星图像和细胞图像则是大脑未经过训练处理的图像类型。
为探讨类脑表征与皮层的关系 ，研究人员分析了编码半达时间与皮层四种特性的相关性。
1、皮层扩展：他们比较婴儿与成人皮层结构的图谱，发现半达时间与皮层扩展高度正相关。这表明发育增长较大的皮层区域，其在 AI 模型中对应的表征出现较晚。
2、皮层厚度：皮层较厚的区域半达时间更长。
3、皮层动力学：内在动力学最慢的区域也往往具有最长的半达时间，即 DINOv3 的深层表征通常对应大脑反应较慢的区域。
4、皮层髓鞘：髓鞘可加快神经信号传导，其浓度与半达时间呈显著负相关，说明髓鞘浓度越高，表征出现越早。
