国思软件 - 400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署

　　闻乐发自凹非寺

　　量子位 | 公众号 QbitAI

　　打破科技巨头算力垄断，个人开发者联手也能训练超大规模 AI 模型？

　　Nous Research 宣布推出 Psyche Network，可以将全球算力整合起来训练强大的人工智能。

　　Psyche 是一个基于 Deepseek 的 V3 MLA 架构的去中心化训练网络，测试网首次启动时直接对 40B 参数 LLM 进行预训练，可以在单个H/DGX 上训练，并在 3090 GPU 上运行。

　　以往类似规模的模型训练往往需要耗费大量的资源和时间，并且通常是由大型科技公司或专业研究机构凭借其雄厚的资金和算力优势来完成的。

　　Psyche 的出现让个人和小团体也可获取资源创建独特大规模模型。

　　对此，有网友表示，Nous Research 有潜力成为新的前沿 AI 实验室。

　　技术突破和网络架构

　　DisTrO 优化器

　　在传统 AI 训练中，数据需在中心服务器与分布式 GPU 之间高频传输，带宽不足会导致 GPU 利用率暴跌。

　　2024 年 Nous 研发的DisTrO分布式训练优化器，通过梯度压缩（仅传输关键参数更新）和异步更新策略，将跨节点通信的数据量降低 90% 以上，突破了训练过程中的带宽限制，使得训练可以去中心化。

　　点对点网络堆栈

　　Psyche 创建了一个自定义的点对点网络堆栈，用于协调全球分布式 GPU 运行 DisTrO。

　　这个基于 P2P（点对点）协议的专用网络层，无需依赖中心化服务器协调，全球 GPU 可直接通过加密通道交换梯度数据。

　　这一设计彻底摆脱了对传统云服务商高带宽网络的依赖，即使是家用宽带连接的 GPU，也能稳定参与训练。

　　系统架构

　　Psyche 网络架构有三个主要部分：

　　coordinator：协调器，存储有关训练运行状态和参与者列表的元数据。处理一轮训练中每个阶段之间的转换，且负责为运行中的所有客户端提供同步点。

　　clients：客户端，负责训练、见证和验证。每个客户端都保持自身状态与协调器同步。

　　data provider：负责提供训练所需的数据。可以是本地的也可以是 HTTP 或 CP 提供者。

　　40B 参数 LLM 预训练

　　此前互联网公开的大规模预训练多由 Meta、Google 等巨头主导（如 LLaMA 2 的 700 亿参数模型），Psyche 以去中心化模式实现同等级别训练。

　　Psyche 首次测试网运行使用的是Deepseek 的 V3 MLA架构。

　　MLA 通过低秩联合压缩键值和矩阵分解技术，降低计算复杂度与内存占用，使 400 亿参数大语言模型在有限算力下高效训练。

　　多头注意力机制与潜空间表示学习相结合，提升模型语言理解与生成能力；并且，旋转位置嵌入的运用，有效解决长序列位置依赖问题，从多维度保障了训练的高效性与模型性能的优质性。

　　数据集：

　　使用了 FineWeb（14T）、去除部分不常见语言的 FineWeb-2（4T）和 The Stack v2（1T），些数据集涵盖丰富信息，为模型训练提供了有力支持。

　　分布式训练策略：

模型并行与数据并行结合：将 400 亿参数拆解为 128 个分片，分布在不同节点进行 “模型并行” 训练，同时每个节点处理独立的数据批次（“数据并行”），通过 DisTrO 优化器同步梯度更新。
动态自适应批量大小：根据节点网络延迟自动调整每个批次的训练数据量（如高延迟节点使用较小批次，减少等待时间），使全局训练效率提升 25%。

　　未来将是分布式训练的天下？

　　随着 AI 模型参数规模呈指数级增长，传统集中式训练模式正面临算力垄断、成本高昂和扩展性瓶颈的严峻挑战。

　　分布式训练的崛起，正在彻底改写这一格局。

　　就在几天前，Prime Intellect 发布了首个分布式 RL 训练模型INTELLEC-2，引起了广泛关注。