别让ChatGPT跑了

 图源:《我,机器人》电影截图
图源:《我,机器人》电影截图

  ChatGPT 只是另一场 AI 噱头吗?

  明面上,ChatGPT 的热度在最近降了下来,这实在是符合许多唱衰 AI 产业的人一贯的论调——就像击败国际象棋冠军的深蓝、国际围棋冠军的 AlphaGo 一样,爆红的 AI 工具总是最终归于平静。

  因为这些炫酷的工具往往有一个无法回避的问题:商业化的前景在哪里?

  从使用场景上说,除了专业棋手,没有人会需要每天和机器人对弈,而 ChatGPT 作为一个吸收了无数语言材料,光是模型参数就有一千七百多亿的大模型,目前最适用场景似乎只有完成学术论文中内容梗概撰写和统一注释格式,以及帮助论文作者规避查重风险。说实话,ChatGPT 在这方面完成的不错,几乎成了留学生中的不传之秘,以至于有华裔学生专门写了一个名为 GPTZero 的 app 负责辨认作业中 ChatGPT 生成的内容。

  但也仅此而已。从成本角度说,动辄数千万美元的开发和部署成本让外界有了坚定看衰它的理由,这个所谓智能聊天工具实在太过昂贵,更何况它最让人惊艳的那部分:对人类语言和对话逻辑的理解,对回答内容的“生成式”创作,都随着越来越多的“翻车”实例而迅速“祛魅”。那些认为它将取代搜索引擎、颠覆智能语音助手的乐观论调正在消失。

  ChatGPT 在大众视角中似乎即将走上过往那些 AI 工具的老路,流星一样炫目,然后归于沉寂。

 图源:《黑客帝国》电影截图
图源:《黑客帝国》电影截图

  但,真的仅此而已吗?

  第一个造出飞机的人

  Sheng 谈到 ChatGPT 时充满了一种兴奋和紧张混合的口吻,他是在清华从事预训练大模型研究的博士生。

  “就在两年前,要不要走预训练大模型的方向,整个学界还在讨论中。”Sheng 说到,而原因正是上面提到的,大模型一次的训练成本实在太过高昂,能得到什么结果也是未定之数,很少有人愿意冒险。国内相关方向的玩家一度倾向使用大小模型协同配合的方法提高 AI 工具效果,因为传统观点认为,在规模相对较小的模型上进行训练,效果并不一定比大模型差。而不止一位 AI 方向的从业者也表示,过去业内对人工标记数据的重视也远远不够,大家没料到 ChatGPT 采用的基于人类反馈的强化学习效果会如此之好。

  直到 OpenAI 推出了 ChatGPT。

  “有多少人工,就有多少智能。”这是人工智能领域经常被拿来调侃的一句话,用来形容 ChatGPT 再合适不过。作为预训练大模型,它很好的体现了“大”这个字。一方面,相比 GPT1,GPT3 的参数规模提升了将近 1500 倍。另一方面,由于运用了所谓的“自监督学习(self-supervised learning)”机制,模型可以使用互联网上海量的文本数据进行训练。

  这种级别的大模型是前所未见的。

  “最近的研究告诉我们,当模型达到一定规模后,会有 emergent ability(突现能力)的东西出现。”Sheng 说到。

  某种程度上讲,ChatGPT 的开发者 OpenAI 也是在赌博,没有人知道这条路究竟能不能走通,而正是它们持之以恒不惜血本的投入,最终证明了预训练大模型拥有一般模型所不具备的认知理解能力和泛化能力。换而言之,预训练大模型和人们理想中的 AI“通用模型”非常相似。

  不像是 AlphaGo 专门针对围棋度身定做,ChatGPT 不是针对一个特定的狭窄领域问题开发出来的 AI 工具,相反,它可能更像某种尚显稚嫩的通用 AI 计算模型,有回答开放问题的能力,显示出可被灵活部署应用在各种领域的潜力。

  这正是 ChatGPT 重要的原因,它向人们展示了预训练大模型的强大威力。这意味着第三次AI浪潮在经过十多年的发展后,走到一个关键节点。

  “ChatGPT / GPT-3.5 是一种划时代的产物,它与之前常见的语言模型几乎是导弹与弓箭的区别,一定要引起最高程度的重视。”一篇试图帮助开源社区复现 GPT3.5 技术路线图的文章在开篇就严肃指出了这一点。(https://zhuanlan.zhihu.com/p/593519656)

  Sheng 则把 ChatGPT 的诞生比作莱特兄弟发明飞机:“大家都知道飞机理论上是可以做出来的,但从来没人真的见过飞机。ChatGPT 就像是有人突然把飞机摆到你面前,虽然它可能只能飞 100 公尺,很容易有故障,但它出现了。

 图源:《黑客帝国》电影截图
图源:《黑客帝国》电影截图

  Bigger than bigger,大模型的潜力还有多少?

  同 ChatGPT 揭示的 AI 发展浪潮中的关键节点的意义相比,ChatGPT 本身的缺陷和孱弱的商业化前景都显得渺小了不少。更何况,对许多从业者来说,ChatGPT 暴露出来的缺点并非不可解决。

  其中一个为许多人指摘的是所谓数据库时限问题。ChatGPT 训练是基于一个固定的数据库,截止日期是 2021 年 9 月,也就是说 ChatGPT 无法掌握从那以后世界上发生的任何事的信息,从 iPhone 14 的发布到美国期中选举,甚至今天的天气状况都不行,在这个方面,ChatGPT 的表现甚至赶不上时下任何一款智能语音助手。

  但从技术层面这个问题并不难解决。实际上,根据外媒爆料,和 Open AI 达成战略合作关系的微软即将在 3 月推出具有 AI 对话能力的新版必应 Bing,它的原理正是将搜索引擎同 ChatGPT 的能力相结合,甚至,微软还打算在 Office 套件中引入相应的能力。

  最为引人关注的成本问题,在算法层面同样有许多优化迭代的思路。比如,既然 ChatGPT 在回答问题过程中通过专门的针对训练很好展示了机器模拟人行为的能力,那么在算法层面,让 ChatGPT 通过模仿人查阅资讯的方式,在涉及纯粹知识和信息的问题时不再调用本身数据库而是直接从网络抓取内容将是非常值得探索的方向。如此一来,大模型可以在不降低自身表现的情况下缩小规模,训练成本也将随之降低。

  至于商业化落地场景,除了已经比较确定的文本生成、智能助手领域外,实事求是的说,还有大片的荒芜地带亟待开发,但不少从业者都表示了乐观。

  “难的是从 0 到 1 的原始创新,至于后面的都不是问题。”一位供职于大厂的 AI 研究从业者说道,“尤其在中国,市场这么大,大家又这么卷,既然大模型的路子被证明是可行的,那么很快所有的聪明人都会加入进来。”Sheng 同样预计,短则一两年,就会出现基于预训练大模型的商业化产品。

 图源:《X战警-天启》电影截图
图源:《X战警-天启》电影截图

  必须攀登的山峰

  事实上,今年在投资领域,AI 是少有的异军突起的热门赛道。然而成本像一道紧箍咒,束缚着每个自身不具有预训练大模型开发能力的玩家。

  ChatGPT 这样级别的预训练大模型跑一次的成本是千万美元级别,而将其商业化部署,落地到类似聊天机器人这样多用户高并发任务中,成本只会更高。小冰 CEO 李笛给出的一个估计数字是 3 亿每天。这也就意味着,国内够资格玩这场烧钱游戏的只能是极个别组织,大部分的初创企业,乃至许多高校,都会被这样的高昂成本“劝退”

  Sun 是来自一家国内一线投资机构的投资经理,在看过无数 AI 相关项目的 PPT 后,他今年一次都没有出手:“商业化项目是很现实的,你是不是掌握了核心技术?你的竞争壁垒又有多高?”

  很少有中国企业能够回应这样的诘问。

  在这种情况下,想要让产品具有 AI 能力,只能调用公开的大模型接口(比如 GPT3.0),等于让自己的核心能力掌握在别人手中。

  一个非常残酷的例子是 Jasper.AI。文本生成领域估值一度高达 15 亿的 Jasper.AI 同样在底层调用 GPT3.0 模型,在 ChatGPT 几乎是没有预警的横空出世后,Jasper 的业务立刻受到冲击(这个故事被 the information 写成了一篇报道 ),因为 Jasper 的收费计划最便宜的也高达 29 美元,且只能生成 20000 个单词,相比之下,ChatGPT 的使用成本简直可以忽略不计,而交互和效果甚至更好。

  更何况,OpenAI 本身也面临着经营压力。从 OpenAI 内部传出的消息说,预训练大模型的成本之高,OpenAI 同样也叫苦连天,从 GPT3.0 后 OpenAI 的模型不再开源,而是力推其订阅付费服务(Jasper 即是向 OpenAI 缴纳一定的费用从而获得 GPT 调用接口)。

  开发属于自己的大模型,显然是每个在 AI 领域有野心的企业所应该做的事。

  国外们的巨头行动很快,除了 OpenAI,提出 transformer 模型的 Google 同样拥有专门针对对话应用的大语言模型 LaMDA 和多模态任务模型 MUM,这两个模型被认为与 ChatGPT 拥有相同的能力。而在硅谷,像 Perplexity、YouChat 这样的创业公司也正在大预言模型的基础上开发新的聊天机器人。OpenAI 也预示了 GPT4.0 的存在,从版本号上就能看出,届时这个业界领先的大语言模型将有进一步的能力提升。

 图源:《X战警-天启》电影截图
图源:《X战警-天启》电影截图

  因此对中国来说,时不我待,预训练大模型是一块必须啃下来的硬骨头,中国绝不能错过这场 AI“军备竞赛”。不仅因为一味模仿或者寻求开源模型接口支持,等于让别人始终掌握掐脖子的科技主动权,同时也将在未来的 AI 产业竞争中处于不利地位。

  Sun 举了个或许不太贴切的例子:质能方程在 1905 年就由爱因斯坦提出,原子弹在 40 年后的 1945 年由美国人试爆成功,而新中国为了掌握这项技术,又花了近 20 年时间。

  一日千里的 AI 技术发展不会给中国这么长的追赶时间。

  好消息是,AI 技术并不像芯片制造一样有着高不可攀的技术壁垒,尽管没有公布 ChatGPT 的论文,但不止一位 AI 工程师表示,仅靠现在公开的知识,顶级 AI 工程团队很大概率就能复现和 ChatGPT 差不多的模型,因为“技术本身都是现成的。”

  坏消息则是,留给我们的时间已经不多。

  如果说 ChatGPT 诞生来自巨量资金的投入、充分的技术和人才储备,这些条件国内巨头们尚能够勉强满足的话,那么随着时间推移,如果不在目前这个非常重要的机会窗口期迎头赶上,算法迭代所累积的经验将给以 OpenAI 为代表的 AI 公司带来结构性的技术壁垒与代差,这种代际差一旦形成,再想追赶将分外吃力。

  虽然机器本质上仍然无法思考或创新,但预训练大模型“涌现”出的“智能”以及它出色的泛化能力,将使得 AI 产业本身不再成为一个赛道,而是演变为类似石油、电网一样的基础生产力资源,彻底改变整个信息产业的格局。

  经过十多年的发展,基于深度学习框架的 AI 浪潮已经找到了一个明确的发力方向,随之而来的将会是如同西部掘金大潮一般的热烈景象,无数机会和突破将涌现出来,想要在这场烈火烹油的 AI 革命中跟上,我们必须拥有属于自己的 ChatGPT。否则让它跑太远,再追就来不及了。

  参考资料:

  ChatGPT 进化的秘密 

  https://zhuanlan.zhihu.com/p/593519656

  The Best Little Unicorn in Texas: Jasper Was Winning the AI Race—Then ChatGPT Blew Up the Whole Game 

  https://www.theinformation.com/articles/the-best-little-unicorn-in-texas-jasper-was-winning-the-AI-race-then-ChatGPT-blew-up-the-whole-game