“ChatGPT”之父Sam Altman:全球人工智能运算量每隔18个月或翻一番

  上证报中国证券网讯(孙小程记者罗茂林)2 月 27 日,OpenAI 首席执行官、“ChatGPT”之父 Sam Altman 在社交媒体发文称,“新版摩尔定律可能很快要来了,全球人工智能运算量每隔 18 个月翻一番。”

  公开资料显示,摩尔定律是英特尔创始人之一戈登·摩尔的经验之谈,其核心内容为:集成电路上可以容纳的晶体管数目大约每经过 18 个月到 24 个月便会增加一倍。换言之,处理器的性能大约每两年翻一倍,同时价格下降为之前的一半。

  摩尔定律是内行人摩尔的经验之谈,汉译名为“定律”,但并非自然科学定律,它一定程度揭示了信息技术进步的速度。

  相关阅读

  ChatGPT 之父提新版摩尔定律!宇宙智能数量每 18 个月翻一番

  新智元报道

  编辑:编辑部

  一直以来,半导体行业有自己的摩尔定律。今天,ChatGPT 之父 Sam Altman 提出了新版摩尔定律,即宇宙中的智能数量每 18 个月翻一番。

  今天,「ChatGPT 之父」Sam Altman 在社交媒体称,一个全新的摩尔定律可能很快就会出现,即宇宙中的智能数量每 18 个月翻一番。

  观点一出,直接炸了一波。

  就连马库斯坐不住了,向其泼了一盆冷水,直言道,是 AI 的炒作量每 18 个月翻一番。

  那么,对于 Altman 提到的宇宙中智能数量,我们该用什么指标来衡量这种增长?

  根据现有的研究可以推测,一种拟合的评估方式如下:

  - 运算能力

  - 学术刊物

  - 专利数量

  - 数据存储

  新版摩尔定律,也要背靠算力

  一直以来,摩尔定律是半导体行业背后奉行的金科玉律:每隔 18-24 个月,封装在微芯片上的晶体管数量便会增加一倍,芯片的性能也会随之翻一番。

  而如今,ChatGPT 爆火出圈,是继 2016 年 AlphaGo 战胜李世石后,人工智能又一重大进步。

  根据「2022 年人工智能现状报告」,机器学习中的计算需求加速增长。根据每个模型的训练计算量翻倍的时间,它确定了机器学习的三个时代。

  前深度学习时代(2010 年前,训练计算量每 20 个月翻一番),深度学习时代(2010-15 年,每 6 个月翻一番),以及大规模时代(2016 年至今,100-1000 倍增长,然后每 10 个月翻一番)。

  要知道,ChatGPT 的诞生,以及人人能够访问 ChatGPT 背后离不开的是算力。

  在最新的财报会议上,摩尔定律在其最好的日子里,可以在十年内实现 100 倍的增长。通过提出新处理器、新系统、新互连、新框架和算法,并与数据科学家、AI 研究人员合作开发新模型,在整个跨度中,我们已经使大型语言模型的处理速度提高了一百万倍。

  换句话说,没有英伟达,就没有 ChatGPT。据称,这一模型运行在 10,000 个英伟达 GPU 上。

  像 GPT-3 这样的大型语言模型需要大量计算能力来进行初始训练。

  即使是用于训练模型的最大 GPU 的内存容量也有限,而需要多个处理器并行运行。

  那么,使用 ChatGPT 进行实时查询,也是需要多个处理器。

  英伟达和微软研究论文称,有 1750 亿参数的 GPT-3 模型在单个 V100 上估计训练需要 288 年。即使我们能够在单个 GPU 中拟合模型,所需的大量计算也会带来不切实际的漫长训练时间。

  使用并行运行的处理器是加快速度的最常见解决方案,但也有局限性,因为超过一定数量的 GPU,每个 GPU 的批处理量变得太小,进一步增加数量变得不可行,反而增加了成本。

  这样一来,GPU 的处理能力成为先进人工智能模型的前提。

  位于爱丁堡大学的超级计算中心,英国电子政务委员会(ePCC)主任 Mark Parsons 教授称,最大极限是使用大约 1000 个 GPU,而解决这一问题最可行的方法是一台专用的人工智能超级计算机。

  即使 GPU 可以变得更快,但瓶颈仍然存在,因为 GPU 和系统之间的互连不够快。

  随着 GPT 和其他大模型不断发展,并行训练的一些难点正在得到解决。

  AI 论文发表量倍增

  另外,全球学术出版物和专利也是衡量宇宙智能数量的标准。

  2022 斯坦福 AI 指数报告显示,过去十年,全球 AI 论文发表量实现翻番,从 2010 年的 162444 篇增长到 334497 篇,且逐年递增。

  具体而言,模式识别和机器学习领域的论文,仅 2015 年至 2021 年的 6 年间,就实现了倍增。

  其它诸如计算机视觉、数据挖掘和自然语言处理等领域,保持了比较平稳的发展。

  在专利方面,根据世界知识产权 (WIPO) 报告,2021 年共提交了 340 万件专利申请,是有史以来最高的年度总数。

  在全球范围内,专利申请从 1995 年的 100 万件增加到 2010 年的 200 万件,然后是 2016 年的 300 万件。

  2021 年,亚太国家占全球专利申请的三分之二以上,其中中国以近 160 万件专利申请领先。日本的专利申请总量位居第三,超过 28.9 万件。

  在亚太地区之外,美国以略高于 590,000 的记录位居第二。

  听君一席话,如听一席话

  IEEE/ACM Fellow,IBM 研究院软件工程首席科学家 Grady Booch:

  对于 Altman 这一句话给大家整的也挺懵圈,智能,到底是什么智能?

  他说的是 「智能」,并没有把增长限制在人工智能甚至软件上。

  有网友端上了 Intelligence 的定义。

  有网友直接将其称为,Altman's Law。

  ChatGPT,看科技大佬点评

  1. Bill Gates

  人工智能具有改变世界的力量,与个人电脑和互联网同样重要。ChatGPT 仍不完美,比如回答数学问题时出现明显错误,不过他目前还是对其在教学、提供医疗建议等方面的应用潜力感到兴奋。

  2. 谷歌首席执行官 Sundar Pichai

  人工智能是 Alphabet 正在开发的最深刻的技术。面对 ChatGPT 崛起,谷歌也正在开发 AI 驱动的聊天机器人 Bard 并在二月初向公众演示,计划在未来几周内发布。

  3. 微软首席执行官 Satya Nadella

  Nadella 对人工智能持乐观但谨慎的态度。微软正在大踏步建立 AI 技术,已经推出了配备对话式聊天机器人的新必应搜索引擎,但对于更加强大的 AI,Nadella 坚持人类需要有不容置疑的掌控能力。

  4. Elon Musk

  马斯克表示人工智能是未来文明的最大风险之一,它承载着巨大的希望,也隐含着巨大的危险,因此即使对于人工智能的监管是必要的,即使这可能一定程度上阻碍其发展。事实上,在与 Sam Altman 共同创立 OpenAI 时,他就认为人工智能是人类最大的威胁之一。

  5. 苹果联合创始人 Steve Wozniak

  Wozniak 认为 ChatGPT 对人类是十分有帮助的,但我们应当警惕它可能因为不了解人性而犯下的严重错误。这类似于人们对自动驾驶的警惕,我们了解人会做什么而清楚其他司机的反应,如果由 AI 来驾驶我们可能无法感到安心。

  6. John Carmack

  随着 ChatGPT 等 AI 工具的兴起,人工智能正向着复制人类功能的目标迈进,也许在短短十年内 AI 就能做到像人类一样思考和行动。

  7. 互联网之父 Vint Cerf

  Cerf 希望投资者在向人工智能倾注金钱时慎重考虑,毕竟技术并不总按人们所希望或者媒体所炒作的道路发展,引发变革的关键还是在于人类本身。

  参考资料:

  twitter.com/sama/status/1629880171921563649

  https://www.businessinsider.com/elon-musk-bill-gates-business-leaders-quotes-on-chatgpt-ai-2023-2#bill-gates-american-business-magnate-and-cofounder-of-microsoft-1

  https://www.pcgamer.com/nvidia-predicts-ai-models-one-million-times-more-powerful-than-chatgpt-within-10-years/

  https://techmonitor.ai/technology/ai-and-automation/chatgpt-ai-compute-power

  https://www.weforum.org/agenda/2022/12/innovation-patent-filings-intellectual-property-ip-applications/