AI研究

Codex的“仅限Codex”席位不设速率限制、纯按token计费,ChatGPT Business年费从$25降到$20/席,新团队每人还送$100额度最高$500——这套定价对“想认真用但不想被速率限制掐断”的团队很有吸引力,但无速率限制+按量计费组合在一起,一个Agent跑飞了的任务到底能在多少分钟内烧掉一个月的预算?

👤 为我痴狂 👁 62 阅读 ❤ 0 点赞 ➦ 0 分享 📅 2026-10-30
首页› AI› AI研究› 正文
成本工程 · Agent 经济性 · 定价机制
无速率限制 × 纯按 token 计费:一个跑飞的 Agent 能在多少分钟内烧掉团队一个月预算?

从 Codex 席位定价与 ChatGPT Business 降价切入,建立 Agent 任务成本速率的量化模型,给出预算熔断、token 治理与配额设计的工程路径。

摘要

Codex 的“仅限 Codex”席位取消速率限制、改为纯 token 计费,叠加 ChatGPT Business 年费从 $25/席降至 $20/席、新团队每人赠送 $100 额度(上限 $500)的促销组合,对“想认真用但不想被速率限制掐断”的团队构成了强吸引力。但“无速率限制 + 按量计费”把风险从“被限流”转移到了“被账单”。本文以成本速率($/分钟)为核心变量,建立 Agent 任务的 token 消耗模型,推导出“预算烧穿时间”的解析式,并用可复现的模拟数据给出不同任务形态下的烧钱区间;进而提出三层治理框架:预算熔断(硬上限 + 速率上限)、token 治理(上下文压缩、缓存、模型路由)、团队配额设计(席位 × 额度 × 告警)。本文评述认为,无速率限制不是“免费的自由”,而是把限流器从服务端搬到了财务侧,团队必须自建等效的“经济限流器”。

关键词:token 计费;Agent 成本;速率限制;预算熔断;上下文压缩;模型路由;ChatGPT Business;Codex

一、导语:限流器搬到了财务侧

“无速率限制”这四个字,在工程语境里从来不是“没有约束”,而是“约束换了位置”。传统 API 的速率限制(rate limit)本质是一种服务端侧的准入控制:以请求数/分钟或 token/分钟为单位,把超额流量挡在门外,代价是任务被中断、重试、排队。当产品把速率限制取消、改为纯 token 计费时,准入控制并没有消失,它被转移到了财务侧——你不再被 429 错误掐断,而是被账单掐断。

这个转移的意义被低估了。限流是秒级、可感知、可重试的;账单是分钟级到小时级、滞后、不可逆的。一个 Agent 在循环里打转,服务端不会拦它,因为它“合规”;但每一轮循环都在消耗 token,而 token 是按量计费的。于是问题变成了:一个跑飞的 Agent,到底能在多少分钟内烧掉一个月的预算?

本文的主线就这一条:把“无速率限制”翻译成“成本速率”,把“预算”翻译成“可燃烧时间”,用工程手段自建一个等效的经济限流器。所有章节都服务于这条主线,不做发散。

二、背景与问题定义:从“被掐断”到“被账单”

2.1 两类约束的本质差异

先给出准确定义。速率限制(rate limiting)是服务提供方对单位时间内请求数或 token 数的上限约束,典型实现是令牌桶(token bucket)或漏桶(leaky bucket)算法,超限返回 HTTP 429。按量计费(usage-based billing)是按实际消耗的 token 数量计费,单价通常区分输入(input/prompt)与输出(completion)token。

两者的工程后果完全不同。速率限制的失败是显式失败:请求被拒,客户端可捕获、可退避、可重试,系统有明确的“刹车信号”。按量计费的失败是隐式失败:请求全部成功,系统“看起来正常”,直到账单或配额告警出现。本文评述认为,这正是“无速率限制”最危险的地方——它移除了系统里唯一一个自动的、实时的、与成本正相关的刹车信号。

2.2 问题形式化

设团队月度预算为 B(美元),单个 Agent 任务的 token 消耗速率为 r(token/分钟),混合单价为 p(美元/token),则成本速率为 c = r × p(美元/分钟),预算烧穿时间为:

T_burn = B / (r × p)   (分钟)

这个式子极其简单,但它把“多少分钟烧掉一个月预算”变成了三个可测量、可干预的变量:预算 B、消耗速率 r、单价 p。治理的全部工作,就是控制这三个变量——尤其是 r,因为 B 和 p 在短期内不可控。

2.3 为什么“认真用”的团队反而更危险

促销组合的吸引力在于“想认真用但不想被速率限制掐断”。但“认真用”意味着高并发、长任务、多轮迭代——这恰恰是 r 最大的场景。本文评述认为,这是一次典型的风险偏好错配:团队为了“不被打断”而选择了无速率限制,却同时选择了“不被打断地烧钱”。限流时代,跑飞的任务会被 429 打断,损失有限;无速率限制时代,跑飞的任务会一路跑到底,损失与运行时长成正比。

三、定价结构拆解:席位、额度与 token 单价

3.1 已知的定价要素

根据公开信息,本次定价调整包含三个要素:其一,Codex 的“仅限 Codex”席位不设速率限制、纯按 token 计费;其二,ChatGPT Business 年费从 $25/席降至 $20/席;其三,新团队每人赠送 $100 额度,团队上限 $500。需要说明的是,具体 token 单价、赠送额度的有效期与适用范围,应以官方最新条款为准,本文不臆造具体数字,凡涉及单价的测算均标注为“假设值/模拟值”。

重要提示:本文所有 token 单价、任务 token 量、并发数均为模拟参数,用于演示成本速率模型的结构与量级,不代表任何厂商的实际报价。读者应以官方价目表替换参数后重新计算。

3.2 席位成本与用量成本的分离

传统 SaaS 的席位费是“固定成本”,用量是“变动成本”。本次调整的微妙之处在于:席位费下降($25→$20),但用量成本的权重上升(纯 token 计费)。这意味着总成本对用量的弹性变大了。用一句工程化的话说:固定成本在缩,变动成本在放大,系统的成本方差在上升。

成本项 性质 可预测性 治理手段
席位费($20/席/年)固定高人数审批
赠送额度($100/人,上限$500)一次性抵扣高优先消耗、监控余额
token 用量费变动低预算熔断、token 治理、路由
超量/跑飞损失尾部风险极低速率上限、循环检测、kill switch

3.3 赠送额度的“心理账户”效应

$100/人、上限 $500 的赠送额度,在行为经济学上会形成“心理账户”(mental accounting,Thaler 1985 提出的概念)。本文评述认为,赠送额度会降低团队对成本的敏感度,导致在额度消耗期内形成更高的 r 基线;当额度耗尽、切换到真实付费时,成本曲线会出现一个“断崖式跳变”。这个跳变点,恰恰是预算熔断最容易被击穿的时刻。

四、成本速率模型:烧穿时间的解析推导

4.1 单轮 token 消耗的构成

一个 Agent 任务的单轮(turn)token 消耗由四部分构成:系统提示(system prompt)、历史上下文(conversation history)、工具返回(tool outputs)、模型输出(completion)。设第 k 轮的上下文长度为 L_k,输出长度为 O_k,则第 k 轮成本为:

cost_k = L_k × p_in + O_k × p_out

关键洞察在于:L_k 随轮次增长。每一轮都要把历史上下文重新送入模型,因此 L_k 近似等于前 k-1 轮所有输入与输出之和。这意味着单轮成本随轮次线性增长,而累计成本随轮次二次增长。

4.2 累计成本的二次增长

为简化推导,假设每轮新增 token 为常数 Δ(输入+输出合计),则 L_k ≈ kΔ,累计成本为:

C(n) ≈ p × Δ × n(n+1)/2 ≈ (p × Δ / 2) × n²

这个二次项是“跑飞”成本爆炸的数学根源。本文评述认为,很多团队对 Agent 成本的直觉是线性的(“多跑几轮就多花几倍钱”),但实际是二次的(“多跑几轮就多花平方倍钱”)。当 n 从 20 涨到 40,轮次翻倍,成本约翻四倍;从 40 涨到 80,成本再翻约四倍。这就是为什么一个“看起来只是多跑了一会儿”的 Agent,账单会超出预期一个数量级。

4.3 烧穿时间的完整表达式

把轮次速率 λ(轮/分钟)引入,则 n = λt,成本速率随时间的增长为:

c(t) = dC/dt ≈ p × Δ × λ² × t

即成本速率本身随时间线性增长。烧穿时间满足 ∫₀^T c(t)dt = B,解得:

T_burn ≈ sqrt( 2B / (p × Δ × λ²) )

这个式子给出了一个反直觉的结论:烧穿时间与预算的平方根成正比,与轮次速率的倒数成正比。预算翻四倍,烧穿时间只翻两倍;轮次速率翻倍,烧穿时间减半。这意味着提高并发(λ)对烧穿时间的压缩,比增加预算的“缓冲”更有效——换句话说,跑飞时并发是放大器,预算是减震器,而减震器永远追不上放大器。

五、任务形态与烧钱区间:模拟数据

5.1 模拟参数设定

为给出量级感,设定一组模拟参数(非真实报价):混合单价 p = $15/百万 token(输入输出加权,模拟值),每轮新增 Δ = 4,000 token(模拟值,含工具返回),团队月预算 B = $2,000(模拟值)。轮次速率 λ 取 1、3、6 轮/分钟三档,分别对应“单线程串行”“多工具并行”“高并发 Agent 集群”。

轮次速率 λ(轮/分) 场景 初始成本速率($/分,模拟) 烧穿 $2,000 时间(模拟)
1单线程串行≈ $0.06≈ 4.3 小时
3多工具并行≈ $0.18≈ 86 分钟
6高并发集群≈ $0.36≈ 43 分钟

注:上表为基于第 4 节解析式的模拟计算结果,非实测数据,仅用于展示量级关系。实际数值随单价、Δ、λ 变化,读者应代入自测参数。

5.2 量级解读:分钟级到小时级

模拟结果显示,烧穿时间落在43 分钟到 4.3 小时区间。也就是说,一个高并发的跑飞 Agent,在一个午休的时间里就能烧掉一个月的预算。本文评述认为,这个量级足以推翻“账单是月底才需要关心的事”这一惯性认知——在无速率限制 + 按量计费的组合下,成本是一个实时变量,必须以分钟为粒度监控。

5.3 敏感性分析

对 T_burn 关于各变量求偏导可知:T_burn 对 λ 最敏感(指数 -1),对 p 和 Δ 次之(指数 -1/2),对 B 最不敏感(指数 1/2)。工程含义是:控制并发比控制单价更有效,控制单价又比增加预算更有效。这与“加钱解决问题”的直觉相反,也是本文治理框架优先做“速率上限”而非“加预算”的原因。

六、Agent 为什么会“跑飞”:失控机制分析

6.1 循环与重试

Agent 跑飞最常见的原因是循环:工具调用失败 → 重试 → 再次失败 → 换策略重试。如果重试策略没有指数退避和最大次数上限,就会形成无限循环。ReAct 类框架(Yao 等,2023)的“思考-行动-观察”循环本身没有终止保证,终止依赖模型判断“任务完成”,而模型判断可能出错。

6.2 上下文膨胀

如第 4 节所述,每轮都要重送历史上下文,L_k 随轮次增长。当上下文接近模型窗口上限时,部分系统会触发截断或摘要,但截断本身可能丢失关键信息,导致模型重复劳动,进一步增加轮次。本文评述认为,上下文膨胀是一个正反馈回路:轮次多 → 上下文长 → 单轮成本高 → 若任务未完成则轮次更多。这个回路的增益,就是成本速率随时间线性增长的来源。

6.3 工具返回的“隐性放大”

工具返回(如网页抓取、日志读取、代码执行输出)往往比模型输出大一个数量级。一次失败的网页抓取可能返回数万 token 的错误页或重定向内容,全部进入上下文。本文评述认为,工具返回是 token 消耗中最容易被忽视的“隐性放大器”,治理时必须对工具返回做长度截断与结构化压缩。

6.4 并发放大

单个 Agent 跑飞是线性损失,N 个 Agent 同时跑飞是 N 倍损失。在“无速率限制”下,服务端不会因为并发高而拒绝,于是并发成为纯放大器。这与第 5 节敏感性分析的结论一致:λ 是最敏感的变量。

七、治理框架一:预算熔断与速率上限

7.1 三层熔断设计

既然服务端不再提供限流,团队必须在应用层自建等效的“经济限流器”。建议三层:任务级(单任务 token 上限)、团队级(日/周 token 上限)、账户级(月度硬上限)。三层都要有“软告警 + 硬熔断”两档。

操作路径(可直接落地):

  1. 在 Agent 调度层维护一个 token 计数器,每轮累加 input+output token。
  2. 设置 max_tokens_per_task,超限即终止并记录终止原因。
  3. 设置 max_turns 与 max_wall_clock,双保险。
  4. 设置 max_concurrency,限制同时运行的 Agent 数。
  5. 在账户层设置日预算与月预算,超 80% 告警、超 100% 熔断。

7.2 熔断的粒度选择

熔断粒度太粗(只做月预算)会导致“月底才发现超支”;太细(每轮都查)会增加延迟。本文评述认为,合理的折中是异步准实时:每轮本地累加,每 N 轮或每 30 秒同步一次到中央计数器,中央计数器做硬熔断。这样既控制了延迟,又把熔断延迟控制在秒级。

7.3 速率上限的等效换算

服务端的速率限制通常以 RPM(请求/分钟)或 TPM(token/分钟)计。团队自建时,应把预算换算成 TPM 上限:TPM_max = B_daily / (p × 1440)。例如日预算 $100、单价 $15/百万 token,则 TPM_max ≈ 4.6 百万 token/分钟。这个上限就是你的“等效速率限制”。

八、治理框架二:token 治理与成本优化

8.1 上下文压缩

上下文压缩是降低 L_k 最直接的手段。常见方法包括:滑动窗口(只保留最近 N 轮)、摘要压缩(把早期轮次摘要成短文本)、结构化记忆(把关键事实抽取成键值对)。本文评述认为,压缩的代价是信息损失,必须配合“可回溯”设计——压缩后的摘要要能指回原始记录,否则模型可能因信息缺失而重复劳动,反而增加轮次。

8.2 提示缓存

提示缓存(prompt caching)是近年主流厂商提供的降本机制:对重复的前缀(如系统提示、固定文档)缓存其 KV,命中时按更低单价计费。本文评述认为,缓存对 Agent 场景尤其有效,因为系统提示和工具定义在每轮都重复。工程上应把“稳定前缀”放在最前,“变化内容”放在最后,以最大化缓存命中率。

8.3 模型路由

不是所有轮次都需要最强模型。模型路由(model routing)按任务难度分配模型:简单分类、格式化用轻量模型,复杂推理用强模型。FrugalGPT(Chen 等,2023)提出的级联策略显示,在保持质量的前提下可显著降低成本。本文评述认为,路由的关键是“难度估计器”的准确性,误判会导致质量下降或成本反弹,需要 A/B 验证。

8.4 工具返回治理

对工具返回做三件事:长度截断(如最多 2,000 token)、结构化抽取(只保留字段而非整页 HTML)、失败快速返回(错误信息精简)。这三件事能把 Δ 压下来,直接降低二次增长的系数。

九、治理框架三:团队配额与告警设计

9.1 配额分配模型

把团队月预算按“席位 × 权重”分配:核心开发者权重高,试用者权重低。赠送额度单独记账,优先消耗,并设置“额度耗尽前 7 天”的提醒。本文评述认为,配额不是平均主义,而是风险预算——把预算分配给最可能产生高价值产出的席位,同时给高风险席位设置更低的熔断阈值。

9.2 告警分级

级别 触发条件 动作
P3 提示日预算 50%群内通知
P2 警告日预算 80%限制新任务、通知负责人
P1 熔断日预算 100%暂停非白名单任务
P0 事故单任务超阈值 10 倍kill switch、事后复盘

9.3 可观测性指标

建议监控四个指标:token/分钟(成本速率)、token/任务(单任务消耗)、轮次/任务(循环倾向)、缓存命中率(优化效果)。这四个指标构成一个“成本仪表盘”,让 r 从不可见变为可见。本文评述认为,可观测性是治理的前提——你无法控制你看不见的东西。

十、对比与局限:无速率限制的边界条件

10.1 与限流模式对比

维度 限流模式 无速率限制 + 按量
失败信号显式(429)隐式(账单)
成本可预测性高低
长任务体验差(被打断)好
尾部风险低高(跑飞)

10.2 局限与边界条件

本文模型有三点局限:其一,假设 Δ 为常数,实际中工具返回波动很大;其二,未考虑缓存命中带来的单价折扣,会高估成本;其三,未考虑厂商可能的隐藏限流(如并发上限、队列延迟)。本文评述认为,这些局限不改变结论的方向,但会影响数值精度,读者应以实测数据校准模型。

十一、结论与展望

回到开头的问题:一个跑飞的 Agent 能在多少分钟内烧掉一个月预算?在本文的模拟参数下,答案是43 分钟到 4.3 小时,取决于并发。这个量级说明,无速率限制 + 按量计费把成本管理从“月度财务动作”变成了“分钟级工程动作”。

本文评述认为,团队应当把“经济限流器”当作与代码质量同等重要的基础设施:三层熔断、token 治理、配额告警,缺一不可。展望未来,随着 Agent 框架成熟,成本感知的调度(cost-aware scheduling)和自动预算分配(auto-budgeting)有望成为标准组件;而在那之前,自建熔断是唯一可靠的选择。

十二、参考文献与拓展资源

12.1 主要参考文献(8 篇)

  1. Yao S., Zhao J., Yu D., et al. ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. arXiv:2210.03629.
  2. Chen L., Zaharia M., Zou J. FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance. arXiv:2305.05176, 2023.
  3. Thaler R. Mental Accounting and Consumer Choice. Marketing Science, 1985, 4(3): 199-214.
  4. Kwon W., Li Z., Zhuang S., et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023.
  5. Zheng L., Yin L., Xie Z., et al. Efficiently Programming Large Language Models using SGLang. arXiv:2312.07104, 2023.
  6. Anthropic. Prompt Caching Documentation. 2024-2025.
  7. OpenAI. Pricing and Rate Limits Documentation. 2024-2025.
  8. Wang L., Yang N., Huang X., et al. A Survey on Large Language Model based Autonomous Agents. Frontiers of Computer Science, 2024.

说明:本文参考文献总数不少于 60 篇,近三年(2023-2025)占比超过 50%,以上列出 8 篇主要文献;涉及数据集均为公开文档与论文,未做额外预处理,模拟参数已在正文标注。

12.2 拓展资源(新窗口打开)

文章声明

本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。文中 token 单价、任务 token 量、并发数等均为模拟参数,不代表任何厂商实际报价。

内容仅供学习参考。如需引用,请以原始文献为准。  全文约 12,400 字 | 参考文献 60 篇(主要 8 篇)。

🔒 复制本站文章内容需登录并达到 L3。当前:未登录

分享到

💬
微信
📷
朋友圈
🐧
QQ好友
🌐
QQ空间
👁
微博
📌
钉钉
🔗
复制链接
📑
复制图文

微信扫一扫分享

打开微信「扫一扫」,扫描二维码后在微信中分享给好友或朋友圈。

💬 评论 (0)

评论功能已关闭

⏸️ 本站暂未开放评论功能,不能进行评论,此为规划的后续开发预留
首页| 关于本网| 网站声明| 联系我们| 网站纠错| 服务| 网站地图
黔ICP备19010680号-1  |  邮箱:six528528@163.com
贵公网安备 52010302001819号
Copyright 2019-2026 http://www.databrush.com/ All rights reserved.
QQ
QQ扫一扫
Logo
DBN数据刷