国产ChatGPT又开源了!效果大幅升级,在手机上也可以跑

  新智元报道

  编辑:好困

  近日,元语智能团队又开源了一个 ChatYuan 系列大模型:ChatYuan-large-v2,支持在单张消费级显卡、PC 甚至手机上进行推理使用。

  刚刚,「国产 ChatGPT」ChatYuan 又发新版本了。

  更新的 ChatYuan-large-v2 不仅支持中英双语,还支持输入输出总长度最长 4k。

  而这也是继此前 PromptCLUE-base、PromptCLUE- v1-5、ChatYuan-large-v1 模型之后,元语智能再次推出大模型方向的研究成果。

  开源项目地址:

  https://github.com/clue-ai/ChatYuan

  Huggingface:

  https://huggingface.co/ClueAI/ChatYuan-large-v2

  Modelscope:

  https://modelscope.cn/models/ClueAI/ChatYuan-large-v2/summary

  01 什么是 ChatYuan-large-v2?

  ChatYuan-large-v2 是一个支持中英双语的功能型对话语言大模型,ChatYuan-large-v2 使用了和 v1 版本相同的技术方案,在指令微调、人类反馈强化学习、思维链等方面进行了优化。

  ChatYuan-large-v2 是 ChatYuan 系列中以轻量化实现高质量效果的代表模型,仅仅通过 0.7B 参数量可以实现业界 10B 模型的基础效果,并且大大降低了推理成本,提高了使用效率。用户可以在消费级显卡、 PC 甚至手机上进行推理(INT4 最低只需 400M )。

  同时,为了更好的提升使用体验,团队已经封装了工具,Chatyuan-large-v2 实现了本地可运行,下载后可以直接在本地使用 h5 版本,进行网页交互。

  02 v2 有什么升级?

  在 chatyuan-large-v1 的原有功能的基础上,v2 模型进行了如下优化:

  •   增强了基础能力:原有上下文问答、创意性写作能力明显提升。

  •   新增了拒答能力:对于一些危险、有害的问题,学会了拒答处理。

  •   新增了代码生成功能:对于基础代码生成进行了一定程度优化。

  •   新增了表格生成功能:优化了生成的表格内容和格式。

  •   增强了数学运算能力:对基础数学运算如加减法做了优化。

  •   扩展输入输出总长度:最大长度 token 数扩展到 4096。

  •   增强了模拟情景能力:可以模拟多人对话或者具体场景,在情景下进行内容创作及上下文交互。

  •   新增了中英双语对话能力:新增了中英双语交互、英文创作、翻译等功能。

  拒答能力

  计算推理

  模拟情景

  表格生成

  代码生成

  03 v2 的局限性

  由于 Chatyuan-large-v1 是一个轻量化的大模型,所以仍会存在一些局限和不足,请开发者知悉,包括:

  •   对于推理、计算、代码生成方面基础功能基本实现,仍存在训练不充分的问题,在某些场景下会出现逻辑错误情况,如代码基本能够实现且具备注释能力,但不能保证精简通顺和准确,可视性还需优化。

  •   通用知识回答不够精确,事实性知识仍存在不准确的情况。

  •   上下文关联信息处理尚有不足。

  结语

  总体而言,v2 在上下文理解、内容生成、代码表格生成等方面,较 v1 开源模型有较大提升,仅仅通过 0.7B 参数规模即可实现行业内百亿参数规模的基础效果,大幅降低推理成本,提升了使用效率。

  元语智能表示,团队会坚定的坚持开源路线,后续将持续开源更好更大的通用大模型,持续构建开源开发者生态,推动国内大模型开源发展,希望各位朋友批评指正。

  产品内测邀请

  除了本次开源 ChatYuan-large-v2 模型之外,元语团队正式开启 KnowX 产品内测,KnowX 搭载了 ChatYuan 线上最新版本的大模型能力,在上下文理解、内容生成、代码生成、逻辑推理计算等方面表现优异,为实现版本的可靠、稳定及进一步优化,现已开启产品内测,名额有限,感兴趣的朋友可在下方链接中申请。

  内测申请通道:

  https://wj.qq.com/s2/11984341/e00b/

  参考资料:

  https://mp.weixin.qq.com/s/NahO52ZwFDjU0CMxfgRhQw