揭秘腾讯混元大模型:400+场景落地,协作SaaS产品全面接入

  梦晨发自凹非寺

  量子位公众号 QbitAI

  进入 2024,大模型的风向变了。

  当初“百模大战”时,只要简单粗暴拿个 Demo 搞 MaaS(模型即服务),也就是让用户直接和大模型交互就足以上牌桌。

  但现在,精耕细作搞应用,无论是原生 AI 应用,还是在已有产品上整合 AI 功能,成了最新潮流趋势。

  就连一向低调神秘的腾讯混元大模型团队,也对外公布了应用落地进展:腾讯混元大模型已经支持内部超过 400 个业务和场景接入,并通过腾讯云,面向企业和个人开发者全面开放。

  这里面有很多为人熟知的“国民级”App,如企业微信、腾讯文档、腾讯会议,都已经被 AI 全副武装。

  还有更多腾讯云 SaaS 产品,如企业知识学习平台腾讯乐享、电子合同管理工具腾讯电子签等,也都有了 AI 加持。

  腾讯混元大模型去年 9 月才首次亮相,是否有意在加速赶进度?

  面对这个问题,腾讯混元大模型应用负责人张锋的回答就有点“凡尔赛”了:我们只是按照正常的节奏,而且不光是接入大模型这么简单,已经进入打磨用户体验阶段。

  在国内大模型厂商中,腾讯为何走出这样一条独特的路线?我们与张锋深入聊了聊。

  腾讯 AI 产品,已经在打磨用户体验了

  腾讯这么多年来一直以产品见长,AI 时代也延续了这种风格。

  就拿大模型的门面腾讯混元助手来说,“已经在打磨用户体验了”还真不是一句空话。

  比如让它做一道简单的数学题,就可以发现 AI 在分析思路时非常流畅,还判断出题目中缺少条件,但最后给出结果前却稍有停顿。

  这并不符合大模型预测下一个 token 的运作原理,反倒像是真的在计算。

  张锋揭秘,背后其实是 AI 先写了一段代码,在后端执行再返回结果。

  不得不说,这是一种解决大模型计算不准确问题的巧妙思路。但为什么不像 GPT-4 代码解释器版一样,把代码在前台显示出来?

  腾讯混元助手一个重要场景是在微信小程序里使用,移动端展示代码就会显得特别长。张锋认为,现在的策略更符合用户体验习惯。

  产品策略有了,但实现起来并不是一件简单的事。首先需要大模型明白当前用户需求需要精准计算,接着要生成合适的代码,最后还要成功通过函数调用来执行代码。

  像这样从细节出发,打磨用户体验的例子还有很多。

  比如大家很熟悉的腾讯会议,比起简单的 AI 语音转写和会议纪要总结,也做了不少差异化功能。

  人的口头表达免不了停顿磕绊,腾讯会议 AI 在转写时把“嗯嗯啊啊”这样的部分智能规整,让会后文字记录看起来更整洁。

  腾讯会议正在思考的另一个问题是,AI 生成的会议总结格式应该根据会议类型做出适当调整。

  有明确主题和议程的会议,与大家畅所欲言的头脑风暴会议,需要的总结的格式就截然不同。因此,除了按时间分章节生成会议纪要外,腾讯会议也将推出按发言人/主题生成会议纪要的功能。

  腾讯乐享,作为企业知识协作平台,在 AI 问答功能中就做到了识别提问者身份,做到回答千人千面。

  如果是企业 HR 问 AI 有关薪酬结构的问题,就可以得到正面回答,其他岗位问同样的问题 AI 会拒绝提供。做到在便利的同时还非常安全。

  湖南的律师事务所旷真接入了乐享助手去做 AI 知识库, 员工调研显示,对典型问题的 AI 回答满意度高达 93 分,端到端问题准确率达 91%。

  腾讯电子签,利用 AI 智能文件审查系统,识别合同风险条款,便于企业把控合同风险。企业对合同的风险控制需求各不相同。腾讯电子签还利用大模型和 few-shot 技术训练适合客户行业的垂类小模型,实现低成本运行。同时,通过混合云的模式,支持数据、模型的私有化部署,解决效率问题的同时保证合规。

  总计 400+ 的应用场景中,像这样的例子还比比皆是,这里不再赘述。

  值得探讨的下一个问题是,腾讯如何做到在短时间内把 AI 产品打磨成熟的。

  应用落地完整流程已跑通

  在腾讯,大模型研发和业务应用是“双向奔赴”的。

  根据张锋介绍,腾讯混元大模型研发过程中迭代速度很快,基本一个月就有四到五个版本。

  这种速度就来自于和业务应用团队的高效合作,业务团队提出需求并贡献微调数据,研发团队就能有针对性的加强大模型的能力。上线测试过程中不断发现 Bad case,也能迅速为大模型补齐短板。

  在这种研发时就考虑到实际应用需求的模式下,腾讯混元大模型定位成了“实用级通用大模型”。

  在国内大模型中,腾讯混元率先完成 MoE(Mix of Experts,专家混合)架构升级,也就是从单个稠密模型升级到多个专家组成的稀疏模型。

  MoE 架构在激活参数不变情况下,总参数量加大,可以吞吐更多的 token,同时,得益于较小的实际激活量,可显著降低训推成本。

  这种路线的快速转型,也得益于与早期就了解了业务应用一方需求。

  在与业务应用相互打磨的过程中,腾讯混元着重提升了通用模型的三个能力:

  指令跟随能力,提出各种各样复杂的结构化长指令,腾讯混元都能按要求执行。

  网页及文档理解能力,满足用户经常需要 AI 来总结长文本内容、减轻认知负的需求。

  函数调用能力,也是腾讯混元团队判断大模型下一阶段的趋势之一。

  通用大模型只是一个开始。

  张锋介绍,在实际应用中,除了 MoE 主模型,如果调用量很大,从性价比的角度,各业务可以考虑使用不同尺寸的小模型,或者采用根据业务数据微调后的垂直小模型。

  微调(Fine-Tuning)是学术界通用叫法,在腾讯内部更愿意用“精调”。

  从数据管理到自研 AngelPTM 训练框架、AngelHCF 推理框架,再到模型评测、部署都有一股精耕细作的劲儿。

  那么,面对如今 400+ 场景,以及未来更多业务都要上大模型的情况,研发团队显然无法分出精力逐个精调,如何解决这个问题呢?

  答案是通过混元一站式平台,许多需求业务团队自己就能轻松搞定。

  混元一站式平台不仅支持通过 API 接口直接调用混元大模型服务,还把大模型从训练到部署的很多流程都做到可视化,不用写代码只需鼠标点点就能快速完成。

  有了混元一站式平台很多 AI 工程师都不怎么去折腾代码了,而不精通机器学习的业务工程师也能轻松上手操作。

  接下来根据一个完整的模型精调到上线的过程,来了解混元一站式平台的能力。

  首先是模型方面,平台提供了各种尺寸的基座模型矩阵。又分为通用模型、针对典型场景的优化模型、针对更垂直领域任务的子模型三个层次。

  通用模型前面已经介绍过,场景优化模型可以举两个例子:开发 Agent 类应用,就可以用到强化了函数调用能力的模型来做;在知识密度高的场景,则可以选择优化摘要能力的模型。

  如果不光有垂直的应用场景,还有垂直的数据集,混元一站式平台上就可以完成针对私有数据集的二次训练,让垂直子模型不仅有很好的通用理解能力,也很擅长专业领域的知识也很擅长。

  接下来便要说到靠混元一站式平台的数据处理能力。

  对于来自不同来源、质量参差的数据,从数据清洗流程如质检、去重,到统计调配不同主题数据的比例,再到更困难的数据价值观对齐,去除其中包含的偏见,都能靠自动化手段高效完成。

  即使模型上线之后,再发现由于某类数据缺失造成模型某方面能力不强,也能迅速把补充数据投入到持续训练,支持模型的快速迭代。

  有了基座模型和数据,就能通过精调来按需求打造专属模型。无论是速度快成本低的 Lora 精调,还是全参数深度精调都能在混元一站式平台完成。

  精调后模型的评测、部署上线也都做到了自动化,特别是部署可以做到一键发布,是混元一站式平台的核心技术之一。

  总结来看,相较于传统的机器学习平台,混元一站式平台的最大特点在于:提供预训练好的基座模型、自动化优化数据处理流程,以及精简高效的模型精调和应用集成工作流。该平台通过自动化和智能工具应对海量训练数据、模型定制和部署等挑战,极大地降低了业务接入大模型的门槛,实现了速度快、效果好、接入方式多样的目标。

  一言以蔽之:已跑通从模型研发到应用落地的完整流程。

  内部流程彻底跑通、并经过 400+ 场景验证,外部开发者和企业可以通过腾讯云上 API 直接调用腾讯混元能力,接下来就要在助力合作伙伴业务智能化升级上发力了。

  One More Thing

  在这次交流的最后,量子位把在测试腾讯混元助手过程中发现的,模型仍无法很好解决的问题提交给了团队。

  结束后已经是北京时间晚上 6 点多,比原定的结束时间推迟了近 2 个小时。

  腾讯混元团队大部分成员都准备动身去往机场,要赶回深圳研发总部。

  张锋没有与大家一同离开会议室。

  简单告别后,他又一屁股坐回沙发上,一心沉醉到琢磨怎么改进 Bad case 的世界里了。