不要神化ChatGPT

  文周文斌

  “ChatGPT 的意义不亚于 PC 或互联网的诞生”,比尔盖茨对这个新风口不吝赞誉。

  裁员潮下一片惨淡的硅谷,因为 ChatGPT 再次燃起了希望之光。

  微软斥资 100 亿美元投资 OpenAI,并计划将 ChatGPT 融入旗下全线产品。2 月 4 日,微软融合 ChatGPT-4 的 Bing 已经短暂上线,速度之快让人咂舌。

  图:融入 ChatGPT 的 Bing

  而为了应对微软激进的布局,谷歌紧急地召回了佩奇和布林两位创始人,并在上周也开始内测类似的产品 Apprentice Bard。同时,谷歌还向 OpenAI 的竞争对手 Anthropic 投资近 4 亿美元,以完成微软和 OpenAI 类似的绑定。

  中国科技公司也在纷纷跟进,一波类似于 2016 年 AlphaGo 的热潮又一次掀起。

  2 月 7 日,百度公布了自家类 ChatGPT 产品的名字“文心一言”,并预计在 3 月推出相应的产品。

  2 月 8 日,阿里巴巴也透露,聊天机器人 ChatGPT 目前处于内测阶段。

  同日,网易有道 CEO 周枫也独家向光锥智能确认,网易有道未来或将推出 ChatGPT 同源技术产品,应用场景围绕在线教育。

  2 月 9 日,腾讯也表态正有序推进 ChatGPT 和 AIGC 相关方向的专项研究。

  一时间,不仅科技圈无人不谈 ChatGPT,甚至有不少人也开始用其面向普通用户赚钱。瑞银预测,ChatGPT 的月活跃用户在今年 1 月份达到了 1 亿,它完成这个目标只用了 2 个月,而在它之前,最快的 TikTok 大概花了 9 个月,这让 ChatGPT 成为迄今为止增长最快的消费者应用。

  在此之前,AI 产品更多是针对B端的产品,ChatGPT 也打破了 to B 到 to C 的圈层壁垒。

  当然,ChatGPT 的伟大,更重要的还是它让通用型人工智能进一步成为可能,并降低了这项技术的进入门槛,让更多开发者能够以低成本的方式在 ChatGPT 的基础上开发专属应用,让 AI 改造世界的可能性进一步提升。

  可以说,就像 25 年前刚刚萌芽的互联网正准备对全球带来翻天覆地的变革一样,如今 ChatGPT 的出现,让 AI 成为新一轮技术爆发的奇点成为可能。

  但是,光锥智能在和中国人工智能行业从业者交流后,发现不少技术从业者反而不如圈外如此狂热。这是因为,渐进式技术进步到今天,并非一蹴而就,技术从业者一直都在保持着密切的观察和技术跟进。

  ChatGPT 很牛,但不要神化它。

  硅谷只剩 AI 了

  谈起 ChatGPT,我们仍然要从硅谷开始。和互联网、Web3、元宇宙等之前大多数具有革命或非革命意义的技术突破一样,ChatGPT 仍然来自于硅谷。

  但和之前硅谷各项技术方向百家争鸣不同,这个时间点的 ChatGPT 更像是硅谷没有选择的选择。

  2022 年,硅谷就经历了一波大裁员,并波及了几乎所有的科技公司。到了 2023 年 2 月,虽然冬天的气温已经有所回升,但硅谷的寒意却还没有褪去。

  据 trueup.io 统计数据,在 2023 年刚刚过去的这一个月,全球 326 家科技公司累计裁掉了 106950 万人,其中大头都在硅谷,而且打击面还非常广泛,元宇宙、芯片、自动驾驶和 SaaS 都是重灾区。

  一直以来,裁员都是一个行业不景气的直接表现。

  以 Wbe3 为例,Coinbase 在 2023 年 1 月计划裁掉公司 20% 的员工,这是美国第一家上市的合规加密交易平台,且这家公司已经在去年 6 月裁掉了 18% 的员工。

  研究公司 PitchBook 的数据显示,在 2022 年第四季度,Wbe3 行业的风险投资就已跌到了这两年以来的最低水平,比 2021 年同期下降了 75%。

  在芯片领域,美光、格罗方德、英特尔等巨头无一幸免,其中泛林集团裁员 1300 人,因特尔下调包括 CEO 在内的管理人员薪酬,并裁员数百人。SaaS 领域,Salesforce 在 1 月 4 日宣布裁员 8000 人,约占全体员工的 10%。自动驾驶方面,包括 Waymo、Crusie、图森未来、无人车配送公司 Nuro 都有裁员的消息传出。

  除此之外,曾经被倾注下一代互联网希望的元宇宙也终于走到了拐点。

  去年 11 月,Meta 确认了成立 18 年来首次大规模裁员,扎克伯格向被裁员工道歉,“我错了,我要为此次裁员,以及我们是如何走到今天这个地步负责。”

  投资人也不再看好 Meta 的元宇宙未来,美国投资公司 Altimeter Capital 向 Meta 发表公开信,呼吁公司削减 20% 的员工成本,并将‘元宇宙’项目的支出限制在每年 50 亿美元。

  而相比于一头扎入元宇宙之后又船大难掉头的 Meta,涉足稍浅的微软则果断选择了弃旧从新。

  首先,微软对元宇宙相关业务进行了大刀阔斧的裁剪,其宣布将在 3 月 10 日关闭 2017 年收购的社交平台 AltspaceVR,并有可能摆脱混合现实工具包(MRTK)团队。

  同时,微软又在 AI 方面大力投入。1 月初,微软就计划向 OpenAI 投资 100 亿美元,然后宣布要将包括 Bing 搜索、Office、Azure 在内的旗下全线产品整合 ChatGPT。到 2 月 7 日,微软已经在 Redmond 召开了整合 ChatGPT 的 Bing 发布会。

  其实从 ChatGPT 面世第一天开始,ChatGPT 颠覆传统搜索的观点就已经不胫而走。所以面对微软激进的布局,谷歌 2 月 6 日宣布推出一款聊天机器人 Bard 来与 ChatGPT 竞争,谷歌云计算部门也在开展一个名为“Atlas”的项目。

  2 月 7 日,谷歌向 ChatGPT 的竞争对手 Anthropic 投资了约 3 亿美元,获得了 10% 的股份,这让谷歌和 Anthropic 形成了类似微软与 OpenAI 的绑定关系。

  除了谷歌和微软之外,在 ChatGPT 上线前三个月,Meta 其实也曾发布过一款类似的聊天机器人,只是并没有获得太多影响力。用 Meta 首席人工智能科学家雅恩・勒昆(Yann LeCun)的话说,“Meta 的 Blenderbot 让人觉得很无聊”。

  相应的,亚马逊也已经将 ChatGPT 应用到了包括回答面试问题、编写软件代码和创建培训文档等工作职能中。一名亚马逊员工在 Slack 上表示,亚马逊云部门已经成立了一个小型工作组,以更好地了解人工智能对其业务的影响。甚至,连苹果都宣布要在下周召开内部 AI 峰会。

  如今的硅谷,AI 已经成为了绝对C位。

  这种转向其实也表现在投资机构的动态上,2021 年 12 月,红杉资本将自己在 Twitter 上的简介从“帮助有冒险精神的人创建伟大的公司”改成了“从想法到落地,我们帮助富有冒险精神的人打造伟大的 DAO。”2022 年,Web3 赛道火热,红杉在 2022 年 1 月 1 日-4 月 26 日,以大概每周一家的速度投资了 17 家 Web3 公司。

  但变化发生在去年 9 月,红杉资本发布了一篇文章《生成式 AI:一个创造性的新世界》。其中写道,生成式 AI 有可能创造数百万亿美元的经济价值。

  PitchBook 的一项统计数据显示,2022 年投资圈向生成式 AI 公司共投入 13.7 亿美元(折合人民币约 93.69 亿元),几乎达到了过去 5 年的总和。这些投资中不仅包括 OpenAI、Stability AI 这样的头部企业,也包如 Jasper、Regie.ai、Replika 等初创企业。

  整体上,从投资人到大企业,再到创业者,一场关于 AI 2.0 的大幕已经拉开。

  中美差距没那么大

  从硅谷到中国,ChatGPT 的热度有增无减。

  毕竟一直以来,关键的技术革新都发生在硅谷,这两年中国尖端技术又一直面临卡脖子的问题。所以在 ChatGPT 出现之后,大家最关心的还是当国外技术已经开始商业化落地的时候,国内的进度到底如何,差距又有多少?

  2 月 7 日,百度对外公布了自家类 ChatGPT 产品的名称“文心一言”,英文名叫 ERNIE BOT,目前,文心一言正在做上线前的冲刺。

  “文心一言”一经透露,便迅速登上各大平台热搜,百度股价一度涨超 17%,市值增长约 700 亿港元。很明显,市场对于一个中国版的 ChatGPT 已经期待太久。

  之前,有观点认为国内外差距大概在两年左右。但云知声研发副总裁刘升平认为,实际上的差距可能没有这么远。两年的说法是因为 GPT-3 是在两年前公布的,但其实自 GPT-3 发布之后,国内许多企业就已经跟进在做类似的大模型了。“实际差距并没有那么大,大概在一年左右。”

  小冰公司 CEO 李笛也向光锥智能提到:“国内人工智能技术不像芯片、操作系统一样落后于国外,相反它应该是最接近国际的。”

  “国内外的差距主要是一种思维上的差距。”李笛认为,国内对技术创新这件事鼓励得不够充分,如果一个公司耐得住寂寞,那它无论在哪个方向都是 OK 的。

  事实上,国内大厂基本都具备训练大模型的能力。比如百度这次发布的文心一言,就和百度文心大模型一脉相承。

  百度在发布文心一言名字的时候还特意提到,在人工智能四层构架中有全栈布局,包括底层芯片、深度学习框架,大模型以及最上层的搜索等应用。拥有产业级知识增强文心大模型 ERNIE,具备跨模态、跨语言的深度语言语义理解与生成能力。

  同样的,腾讯也有类似混元 AI 大模型,在此基础上,腾讯推出了 HunYuan-NLP 1T 大模型并一度登顶国内最权威的自然语言理解任务榜单 CLUE。此外,像阿里有“通义”大模型,华为有盘古大模型,国家队中科院自动化研究所有“紫东·太初”等等。

  简单来说,国内大厂基本都有做 NLP 预训练模型的能力,甚至许多专业能力还处在世界领先的水平。

  比如腾讯的混元大模型在 2022 年 11 月公布了一项最新进展,它们实现万亿级 NLP 模型,可以用 256 张卡,最快 1 天内完成训练,成本相比原来降低1/8。

  作为对比,ChatGPT 训练一次的成本高达 1 千万美元,这是一般企业无法承受的。小冰公司 CEO 李笛算过一笔账:“如果按照 ChatGPT 成本来考量的话,每天我要烧 3 亿人民币,一年要烧一千多亿。”

  而腾讯通过课程学习、MOE 路由算法、模型结构等方式优化之后,让更多企业能够承担得起训练自己的 NLP 模型的成本。

  除此之外,像在专利储备上,根据 statista2021 年的数据,百度和腾讯都名列世界前列。

  另一方面,就 ChatGPT 而言,它的技术原理并不新鲜。

  Yann LeCun 提到:“就底层技术而言,ChatGPT 并不是特别创新的,它不是革命性的,尽管这是公众对它的看法。”他指出,除了谷歌和 Meta,还有 6 家初创公司基本上拥有与它非常相似的技术。ChatGPT 是一项集体努力,因为它汇集了多方多年来开发的多项技术。

  李笛也提到,大模型对应的技术理念已经诞生好几年,无论是国内还是国外,使用这种技术理念训练出来的大模型已经很多,只是在具体 fine tune(微调)的过程中专注的领域有所不同。

  做个不恰当的比喻,ChatGPT 就像原子弹一样,它的原理已经被写在了教科书里,而大多数国家仍然无法实现,更多是因为工程性的问题。比如千亿规模的数据从哪里来?如何进行数据标注,具体标注哪些数据,标注多少,这些数据又如何进行组织训练等等。

  而这些问题也都没有在 OpenAI 的论文中得到公布,需要企业在自己的模型训练中去尝试和摸索,然后形成经验,积累成自己的 know-how。

  不要神化 ChatGPT

  虽然在底层技术上,国内外其实并没有想象中那么大的差距。但当大家看到国外如火如荼的技术落地时,也会担心国内在这方面掉队。

  对于 ChatGPT 这样技术逻辑清晰的产品而言,慢一点并不影响结果。但如果产品差,则表现在具体工程问题的解决能力上,这些部分要摸索,要踩坑,要形成经验都需要漫长的时间,这背后反映的是技术水平的问题。

  相比于欧美以英文为主的语言环境,中文是表意文字,在抽象概括和逻辑能力上天生不及英文。除此之外,国内互联网的语料也相对缺乏,没有英文互联网那么大的数据积累。

  所以有业内人士表示,对目前国内的类 ChatGPT 产品发展而言,重要的不是模型,而是数据。

  “自然语言处理需要经过一个非常严密的推理过程。”李笛提到:“大模型某种意义上代表一种暴力,即把大量的数据压缩到一个黑盒里面,然后提取出来,这意味着大家在算力有一定保障的前提下,可以有机会用之前没有用过的方法去完成。”

  另一方面,ChatGPT 确实是革命性的存在,但却并不代表它就是今后 NLP 领域的唯一方向。

  首先是 ChatGPT 的技术发展,今天最主要的技术在于,一个模型建压好之后,如何从里面很好地提取数据,目前还有很多新方法没有尝试,所以不排除未来用更小的模型达到很好效果的可能。

  李笛提到,现在整个行业都在追求这种可能,因为模型参数太大,一定意味着成本非常高,以及各种各样的其他问题。“今天技术差异还远远没有达到成为不同技术流派的程度,也还远远没有到说就按应用场景去划分这样一个程度。”

  其次是从整个 NLP 的技术路线来看,目前主要有两种主流技术路线,分别是以谷歌 BERT 为代表的双向预训练语言模型 +fine-tuning(微调),和以 OpenAI 的 GPT 为代表的自回归预训练语言模型 +Prompting(指示/提示)。

  在 ChatGPT 发布之前,BERT 一直是业内主流的技术方案,它之所以被 ChatGPT 抢了风头,是因为它无法像 GPT 一样用一个模型解决所有问题,没有表现出通用型人工智能的潜力。

  但实际上,BERT 在许多具体的场景下拥有优势,比如在特定场景下,BERT 可以用更小的数据量(ChatGPT 是在 3000 亿单词的语料基础上预训练出的拥有 1750 亿参数的模型),更低的训练成本实现同样的性能。

  比如在医院内部这样一个特定场景,一方面它用不起千亿规模的模型,ChatGPT 在医院场景就属于杀鸡用牛刀,医院也无法负担部署 ChatGPT 的成本。另一方面,ChatGPT 的模型是基于公开数据训练的,但医院的数据并不存在公共网络上,所以面对医院的问题,ChatGPT 可能无能为力。

  但 BERT 却能够适应这样的场景,它可以以更小的数据量,更低的成本,针对医院的数据和场景针对性地训练出的模型,在解决具体问题上比 ChatGPT 更加得心应手。

  这其实就是一个所有领域都涉猎的全能型选手和深耕特定领域的专家之间的区别。即在数据确定的特定场景,BERT 更有优势。而在没有明确数据和目标,面向开放式的应用场景,ChatGPT 则更合适。

  当然,具体到国内企业的商业化来说,大模型需要大量的数据,高昂的训练成本,这些都不是一般企业能够承担的,因此它注定了是巨头的游戏。

  在腾讯研究院近期发布的《AIGC 发展趋势 2023》报告中就梳理了目前 AIGC 产业生态体系的三层构架,包括以预训练模型为主的基础层;以垂直化、场景化、个性化模型为主的中间层;和以图像、语音、文字生成等具体 AIGC 应用为主的应用层。

  图:腾讯研究院《AIGC 发展趋势 2023》

  其中,如百度、腾讯、OpenAI 这样的大公司将专注于做预训练模型,对这些企业来说,他们一方面能够将大模型的能力整合到自己的产品线中,直接面向广大的用户;另一方面又能够通过 API 为中小企业提供能力调用,在具体场景中落地。

  面对这样的生态架构,一位知名机构投资人在考察过硅谷的 ChatGPT 项目后向光锥智能表示:“创业公司的机会在于,在开源技术的基础上,做具体的应用场景。尤其是可以把几种具体技术结合在一起,比如数字人和 ChatGPT 结合,自动生成视频,用于金融、客服等特定场景下的应用。”

  但这也会面临一些问题,即如果大家都调用同一个模型的能力,又落地在同一个细分场景,那必然会面临同质化的问题。

  所以刘升平认为:“ChatGPT 适合创业公司进入市场初期的冷启动,即通过 ChatGPT 提供服务,然后逐步积累数据,待有了一定数据积累之后再利用 BERT 训练专用模型,以此来建立自己的技术壁垒和护城河,同时也提供差异化的服务,和同行拉开差距。”

  所以,无论是从技术,还是从商业化的角度而言,ChatGPT 和 BERT 从来不是一个非此即彼的问题,而是一个术业有专攻的问题。

  此外,刘升平也提到,对于中小公司而言,如果没有能力去研发类似 ChatGPT 的通用大模型,那也可以考虑研发类似 ChatGPT 的行业版模型,用更少的参数量,更多的行业数据,在行业问题上达到或超过 ChatGPT 的效果。

  “我认为到目前为止,人工智能在 To C 和 To B 上尚未出现一个放之四海而皆准的商业模式。”

  李笛提到,AI 现在还出其实还处在一个相对比较早期,甚至可以称之为蛮荒时代,很多理念都还处在特别特别原始的状态,所以可能每年我们回顾过去,都会觉得在颠覆自己。

  “就像前几年 NIIPS 大会上有人开玩笑说过的大模型炼丹,现在的大模型就像大家拿到了一个好的玩具,但不知道这个玩具还能吐出什么令人惊讶的东西。”

  在 2016 年,AlphaGo 击败李世石时,我们也曾以为 AI 时代已经来临,它会在许多领域将人类替代掉,我们也曾为此恐慌和兴奋,但实际上如今将近 10 年过去了,AlphaGo 并没有改变世界,甚至没有改变任何人。

  所以,何妨让子弹再飞一会儿呢?