网易伏羲中文预训练大模型“玉言”问鼎中文语言评测分类冠军:参数达 110 亿,浪潮提供 AI 算力支持

网易伏羲中文预训练大模型“玉言”问鼎中文语言评测分类冠军:参数达 110 亿,浪潮提供 AI 算力支持 InfoQ 快讯

  InfoQ 获悉,日前,网易伏羲中文预训练大模型“玉言”登顶中文语言理解权威测评基准 CLUE 分类任务榜单,在多项任务上超过人类水平。其具备的自然语言处理能力,可应用于语言助手文本创作、新闻传媒、智能客服等领域。

  据悉,“玉言”大模型参数达到 110 亿,结构由深层 Encoder 和浅层 Decoder 组成。这种结构使得大模型具有优秀的理解能力和生成能力,同时方便训练任务的设计,不需要复杂的掩码策略。

  同时,“玉言”具有良好的泛化性,在各类任务上都有着出色的性能。目前,大模型相关技术和成果已应用在网易集团内的文字游戏、智能 NPC、文本辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景,取得了显著的业务效果。

  网易伏羲大模型参数规模达到百亿,开发过程中对训练算力的需求非常大,并且需要高效管理模型和算力资源,并按需弹性地使用算力。

  为了应对这些挑战,在“玉言”大模型研发过程中,浪潮信息为其提供 AI 算力支持。通过采用 AI 算力服务模式,解决了超大规模参数大模型所需训练算力需求,同时还获得了高质量中文语言数据集的有力支持,开发效率显著提升。

  据悉,浪潮信息推出的 AI 算力服务产品,包括 4 种 AI 算力产品、经“源”清洗验证过的语言或多模态的大模型数据集的 2 种数据产品、由浪潮”源”专家团队提供的语言或多模态的大模型训练支持的 2 种算法产品以及 AI 训练推理资源管理调度的 1 种平台产品。