LMFlow开源,3090单卡5小时可训练

  用于微调和推理大型基础模型的可扩展工具包 LMFlow 一个可扩展、方便且高效的工具箱,用于微调大型机器学习模型,旨在用户友好、快速可靠,并且可供整个社区访问。 凭借 LMFlow 的加持,即使计算资源有限,用户也能够根据自己领域的需求进行个性化训练。有了 70 亿参数的 LLaMA,只需要一张 3090 显卡和 5 个小时时间,就能够训练出专属于自己的个性化 GPT,并进行网页部署。开源库的作者们也利用这个框架单机训练了 330 亿参数的 LLaMA 中文版,并开源了模型权重,以供学术研究使用。

  Repo: https://github.com/OptimalScale/LMFlow

  [1]@halomaster · 02 Apr 2023, 14:38 GMT 

  我们很高兴地开源 LMFlow 代码库,其中包括了完整的大模型训练流程,能够快速、高效地训练和部署自己的语言模型。

  我们的代码库不仅仅是一个简单的模型; 它包括完整的训练流程、模型权重和测试工具。 您可以使用它来构建各种类型的语言模型,包括对话模型、问答模型和文本生成模型等。

  此外,我们旨在创建一个开放和民主的大模型共享平台,任何人都可以在这个平台上分享训练模型权重和经验。 我们欢迎任何对大模型感兴趣的人参与进来,与我们一起建设一个开放友好的社区!

  无论您是初学者还是专家,我们相信大家都能从这个平台中获益。让我们共同努力,建立一个充满活力和创新的大模型社区!