搅动100亿美金的ChatGPT,竟然这么依赖TA?

  新智元报道

  编辑:Aeneas 好困

  搅动了百亿美金市场的 ChatGPT,再一次证明了:AIGC,将在 2023 年给我们的生活带来革命性的剧变。

  这几天,的消息疯狂刷屏。

  作为一家没有商业模式的公司,OpenAI 怎么就能估值百亿美金?投资人这么好忽悠吗?

  其实,拉出 OpenAI 背后的 ChatGPT,大家就多少能明白一点了。这个语言模型「顶流」,最近可谓是无人不知,无人不晓。

  而近水楼台先得月的微软,已经悄咪咪地在互联网巨头混战中,先下了一城。

  前脚刚表示, 后脚就放出这个重磅炸弹。

  AIGC 革命,又到了拼算力的环节

  2022 年,是 AIGC 的革命元年。

  DALL·E 2 的诞生让「文生图」火了整整一年,紧跟其后的 Stable Diffussion、Midjourney 更是启发了无数人的艺术灵感,甚至让不少画手感到了「失业危机」。

  到了年末,ChatGPT 更是在全民中掀起 AIGC 的风暴。虽然是压轴出场,但「强化学习」(RLHF)赋予它的魔力,成功地掀起了一场全民的狂欢。

  刚刚我们提到的这些应用,虽然看起来花里胡哨,但在背后提供支撑的依然是大家熟知的大模型们。

  众所周知,对于大模型来说,不管是前期的训练还是后期的推理,都离不开巨量的「算力」。

  举个例子,「当红炸子鸡」ChatGPT 和 DALL·E 2 基于的 GPT-3,以及国产自研的源 1.0、悟道和文心等等,不仅在参数量上达到了千亿级别,而且数据集规模也高达 TB 级别。

  想要搞定这些「庞然大物」的训练,就至少需要投入超过 1000PetaFlop/s-day(PD)的计算资源。

  也难怪 OpenAI 在大炼 GPT-3 之前,会让微软花 10 亿美元给自己独家定制了一台当时全世界排名前五的超级计算机。

  但是问题在于,并不是每个需要到大量 AI 算力的企业或高校,都能财大气粗地斥巨资搞一个自己的「人工智能高性能计算中心」。

  那么,如果我们换一个思路,让算力变得更加「普适普惠」,是不是也能实现相同或更好的效果呢?

  于是,在 2020 年 12 月的时候,国家信息中心和浪潮信息联合发布了《智能计算中心规划建设指南》。其中,便提到了一个全新的概念——智能计算中心(简称,智算中心)。

  智算中心是什么?

  为了能更好地解决人工智能领域的问题,智算中心的发展就需要基于最新的 AI 论和先进的 AI 计算架构,并以 AI 芯片、AI 服务器、AI 集群为算力的载体。

  首先,当前主流的 AI 加速计算,主要是采用 CPU 系统搭载 GPU、FPGA、ASIC 等异构 AI 加速芯片。

  由于 GPU 芯片中原本为图形计算设计的大量算术逻辑单元(ALU),可为以张量计算为主的深度学习计算提供很好的加速效果,因此广受学术界和工业界的欢迎。

  随着越来越深入的应用,GPU 芯片本身也根据 AI 的计算特点,进行了针对性的创新设计,如张量计算单元、TF32/BF16 数值精度、Transformer 引擎(Transformer Engine)等。

  而更加「专一」的 AI 计算加速芯片,主要脱胎于 GPU 芯片。

  特斯拉 Dojo 人工智能训练芯片

  其次,作为智算中心算力机组的 AI 服务器,则采用 CPU+AI 加速芯片的异构架构,通过集成多颗 AI 加速芯片实现超高计算性能。为了满足各领域场景和复杂的 AI 模型的计算需求,AI 服务器对计算芯片间互联、 扩展性也有着极高要求。

  最后,智算中心还需要对业界主流、开源、开放的软件生态提供充分的支持。

  比如,用于开发 AI 算法的深度学习框架 TensorFlow 和 PyTorch,为适应 CV、NLP 等特定场景开发而构建的一系列开源库等等。

  智算中心总体架构

  不过,和国外那些大厂给自己定制的高性能计算中心不同,智算中心其实是一个面向公众的基础设施,更好地解决建不起、用不起算力的问题。

  其中最为直观的便是,作为「神经中枢」的智算 OS(智算中心操作系统)就是为了让智算中心可以对算力资源池进行高效管理和智能调度,从而更好地对外提供算力、数据和算法等服务。

  如今,距离 2020 版《智能计算中心规划建设指南》的发布已经时隔两年,而我国的智算中心发展也已经进入了新阶段。

  为此,国家信息中心和浪潮信息联合开展了与时俱进的研究,于 2023 年 1 月推出了更新的《智算中心创新发展指南》(以下简称「指南」)。

  所以,为何还要兴建智算中心?

  智算中心是数字经济时代促进产业转型升级、优化产业结构、提升城市竞争力的关键基础设施,并为快速增长的人工智能算力需求提供了必不可少的支撑。

  具体来说可以分为四个方面:

  推进 AI 产业化、赋能产业 AI 化、助力治理智能化、促进产业集群化

  • AI 产业化

  AI 产业化的一个重要例子,就是自动驾驶。

  在自动驾驶的场景中,需要基于 AI 技术,让车辆能够像人类驾驶员一样准确识别驾驶环境中的关键信息,并对周围运动单元的潜在轨迹做出预判。

  在训练算力消耗上,自动驾驶感所采用的知模型要远大于一般的计算机视觉感知模型。

  比如,特斯拉的 L2 级 FSD 自动驾驶融合感知模型,训练过程使用了百万量级的道路采集视频,算力投入约为 500PD。

  而且,随着自动驾驶级别从 L2 提升到 L4,对算力的需求将进一步提高。

  对此,智算中心提供的普惠算力,可以极大降低自动驾驶所需算力的成本。

  • 产业 AI 化

  在 2022 年,有一个概念非常流行,叫「AI for Science」。

  这是一种新的科研范式,指科学家们用 AI 技术作为生产工具。

  要说今年 AI for Science 最广为人知的例子之一,就是 DeepMind 开发的 AlphaFold 2 了。

  截至目前,AlphaFold 2 已经可以预测出 2 亿多个蛋白质结构,几乎覆盖了整个「蛋白质宇宙」。通过 AlphaFold 2,单个蛋白结构的预测时间缩短到了分钟级,准确率也达到了 92.4%。

  AlphaFold 2 的开发,就是以巨量算力为支撑的。仅在训练数据准备阶段,AlphaFold 2 就消耗了约 2 亿核时的 CPU 算力,训练过程中更是消耗了约 300PD 的 AI 算力。

  而非常契合 AI for Science 算力需求的智算中心,将成为支撑高校和科研院所高质量科研的重要基础设施。

  • 治理智能化

  另外,智算中心还能为城市公共服务和智能化治理,提供智算能力支撑。

  • 产业集群化

  智算中心能够聚合当地人工智能的研发优势、人才优势、产品优势与产业投资,实现产业链协同,促进产业集群化发展。

  智算中心产业链

  现在,智算中心更是成为提升国际竞争力的关键基础设施。

  我们都知道,人均 GDP 指标可以衡量一个国家经济发展,人均算力水平的高低也可以衡量一个国家的智能化水平。

  根据《2021-2022 全球计算力指数评估报告》,国家计算力指数与 GDP 的走势呈现出了显著的正相关,计算力指数平均每提高 1 点,数字经济和 GDP 将分别增长 3.5‰和 1.8‰

  计算力指数与 GDP 回归分析趋势

  经研究测算,「十四五」期间,在智算中心实现 80% 应用水平的情况下,城市对智算中心的投资,可带动人工智能核心产业增长约 2.9-3.4 倍、带动相关产业增长约 36-42 倍,城市/地区在智算中心建设投入的增长量对创新产出的贡献率约为 14%-17%。

  不难看出,智算中心对于城市经济发展,已经形成一股不可忽视的力量。

  智算中心项目的经济社会效益

  基于这些原因,智算中心这个概念一经提出,便引发了建设热潮。据统计,现在全国有超过 30 个城市正在建设或提出建设智算中心。

  然而,问题也随之而来

  不可忽视的是,在如火如荼的建设过程中,这些智算中心也暴露出了很多问题和挑战。

  首先,我国对智能算力的需求与日俱增。

  《2022-2023 中国人工智能计算力发展评估报告》数据显示,2021 年我国智能算力规模达 155.2 EFLOPS(FP16),预计到 2026 年,我国的智能算力规模将达到1,271.4 EFLOPS。

  在未来 80% 的场景都将基于 AI,它们所占据的大部分算力资源,都是由智算中心承载。

  我国智能算力发展情况

  其次,围绕算法的服务模式也需要完善。

  自 2011 年以来,全球 AI 领军企业和研究机构纷纷加入 AI 大模型研究,模型参数急剧增长。在短短三四年时间内,参数规模快速从亿级突破至万亿级,同时出现了很多代表性大模型,如谷歌发布的 BERT,OpenAI 发布的 GPT-3 等。

  传统计算范式的改变,也必然推动智算中心的服务模式从提供算力为主,向提供「算法+算力」转变。

  最后,现阶段存在的概念认知尚不清晰、建设标准尚不统一、应用场景尚不丰富、运营模式尚不成熟等问题,也直接影响着智算中心的发展。

  怎么解决?

  对此,《指南》给出的解决思路是:1. 普适普惠2. 开放兼容

  先来说什么叫「普适普惠」。

  普适普惠是指,发挥公共基础设施的社会价值,既要满足用户对通用算力的需求,又要满足不同用户不同场景对多元化算力的需求。

  具体来说,智算中心要朝着标准化、低成本、低门槛方向发展,使智能计算可以像水电一样,成为社会基本公共服务,满足不同用户不同场景对算力多元化的需求。

  其次,就是要「开放兼容」。

  具体来说,就是要开源开放、培育生态。以开放硬件和开源软件为主,融合多元算力,实现算力的聚合、调度、释放,让智算中心「用起来、用的好」。同时,要加强对智算中心关键软硬件产品的研发支持和大规模应用推广。

  智算中心建设架构

  而为了实现算力服务的普适普惠、高效利用,也就是智算中心如何「好用、用好」的问题,《指南》指出智算中心建设还需要构建「算力基建化、算法基建化、服务智件化、设施绿色化」的「四化」技术路线。

  算力基建化是指,智算中心要具备对外提供高性价比、普惠、安全算力资源的能力,使 AI 算力像水、电一样成为城市的公共基础资源,供政府、企业、公众自主取用。

  算法基建化是指,智算中心通过提供预置行业算法、构建预训练大模型、推进算法模型持续升级、提供专业化数据和算法服务,让更多的用户享受普适普惠的智能计算服务,实现「带着数据来、拿着成果走」的效果:

  服务智件化是指,智算中心的发展将由传统的硬件、软件向「智件」升级。「智件」是指智算中心提供人工智能推广应用的中间件产品和服务。「智件」的构建,通过可视化操作界面,以及低代码开发甚至无代码开发的模式,为用户提供功能丰富、使用便捷的人工智能算力调度、算法供给和个性化开发服务。

  最后,还要做到设施绿色化,目前主要发展趋势就是采用液冷技术。

  展望未来

  现在,以 AIGC、元宇宙、智慧科研 (AI for Science)为代表的新兴场景,正在走进我们的日常生活,给我们的未来带来无限的可能。

  与之相应的,智算中心建设布局浪潮正在全国快速掀起。

  智能算力的普适普惠,对于大多数企业来说,尤其是中小企业,创新的门槛大大地降低了。

  相信在不久的将来,我们会很快见证「以数据输入,让智能输出」,智能计算会如水电一般,真正惠及每一个人。

  报告链接:

http://scdrc.sic.gov.cn/archiver/SmarterCity/UpFile/Files/Default/20230111181640567177.pdf