来源：封面新闻
封面新闻记者车家竹
在自然语言处理领域中，机器学习模型通常以 token 作为其输入单位。对于 ChatGPT 这样的大型语言模型，token 可以被理解为文本中的最小单位。ChatGPT 将输入文本拆分成一个个 token，使模型能够对其进行处理和理解。
近日，OpenAI 在社交平台宣布，取消了 GPT-4 Turbo 的所有每日限制，并将速率限制提升 1 倍。现在，每分钟可处理高达 150 万 Token 数据。从 ChatGPT 增加 “记忆存储”，到视频模型 Sora 再到 GPT-4 Turbo 全面取消每日限制，一周来 OpenAI 的这套“连续王炸组合拳”持续出击......
记者查阅资料发现，GPT-4 Turbo 在 2023 年 11 月召开的 DevDay 上首次亮相，是目前 OpenAI 已公布最强大的模型。相比 GPT-4，GPT-4 Turbo 可在单个任务中处理超过 300 页的文本，且输入 token 价格是 GPT-4 的三分之一，输出 token 价格是 GPT-4 的二分之一。
取消 GPT-4 Turbo 的所有每日限制，并将速率限制提升 1 倍
为何进行速率限制？
有助于防止恶意攻击和滥用行为
OpenAI 表示，速率限制是对开发者或产品用户，在指定时间段内访问 OpenAI 服务器的次数增加的一种服务限制。
2 月 21 日，中国信息协会常务理事朱克力在接受封面新闻记者采访时表示，“OpenAI 进行速率限制主要是出于三个方面的考虑。一是为了保护其强大的 AI 模型，防止因过度使用而导致的性能下降或损坏。毕竟，这些模型是 OpenAI 花费大量时间和资源训练出来的，必须妥善维护，同时 OpenAI 作为初创公司资源有限，AI 大模型消耗资源巨大。二是为了确保所有用户都能获得稳定、可靠的服务。如果没有速率限制，一些用户可能会过度消耗资源，导致其他用户的服务质量下降。三是速率限制也有助于防止恶意攻击和滥用行为，从而维护整个系统的安全性和稳定性。”
速率限制有哪些种类？
最常见的是基于时间的限制
速率限制则是 OpenAI 对开发者或产品用户，在指定时间段内访问其服务器的次数增加的一种服务限制。目前，OpenAI 一共使用了 5 种速率限制：RPM（每分钟请求数）、RPD（每天请求数）、TPM（每分钟 tokens 数量）、TPD（每天 tokens 数量）和 IPM（每分钟图像数量）；其中任何一种请求都可能触发速率限制。
“OpenAI 的速率限制有多种类型。最常见的是基于时间的限制，比如每分钟、每小时或每天可以发送的请求次数。这种限制可以确保用户在一定时间内不会过度使用服务。此外，还有基于数据量的限制，比如每次请求可以处理的数据量或每天可以处理的总数据量。这种限制可以防止用户发送过大的请求，从而保护系统的处理能力。”朱克力解释道。
资料图
如何避免速率限制？
用户需合理规划请求的频率和数量
OpenAI 表示，最简单的避免速率限制方法，就是使用“指数退避重试”。指数退避重试能在连续的失败尝试之间引入逐渐增加的延迟，以减少对服务器或网络资源的压力，增加后续尝试成功的可能性。
对此，朱克力向记者表示：“要避免速率限制，用户可以采取一些策略。首先，要合理规划请求的频率和数量，避免在短时间内发送大量请求。其次，可尝试分批处理数据，将大请求拆分成多个小请求，以减少单次请求的负担。同时，用户还可以考虑使用缓存技术，将已经处理过的数据保存起来，避免重复请求相同的数据。此外，与 OpenAI 保持良好的沟通也很重要，如果用户确有特殊需求需突破速率限制，可以向 OpenAI 申请提升限制或购买更高级别的服务。”但需要注意的是，速率限制是对组织级别实施的，对一般个体用户并无影响，且速率限制因所使用的模式而异，用户可以在账户设置中的 “限制”板块查看速率和使用限制。
最后，朱克力还补充道：“OpenAI 的速率限制是为了保护其宝贵的 AI 资源和确保所有用户都能获得高质量的服务，用户在理解和尊重这些限制的同时应采取有效措施避免触发，共同维护一个稳定、安全、高效的 AI 生态环境。”
