“Qwen本地不错→买显卡→DeepSeek API便宜→本地不用了→Qwen又不错→再买→API又便宜→又不用了”,这条被广泛转述的时间线并非段子,而是一个可被形式化的资本配置问题:在开源模型能力跃迁与闭源API价格下探交替发生的市场里,个人与小团队如何决定算力资产的持有方式。本文提出“算力套利”作为贯穿全文的分析主线——把本地显卡视为一份可折旧、可转售、但存在利用率风险的实物期权,把API视为一份按量计费、无沉没成本、但存在供应商锁定与数据外流风险的浮动价格合约。二者的切换不是情绪化的追涨杀跌,而是期权价值随波动率、利用率与残值变化的再定价过程。文章依次给出问题定义、成本模型、盈亏平衡推导、混合架构设计、采购纪律与前沿预判,并提供可复用的测算表格与操作步骤。
关键词:本地推理;API定价;总拥有成本;实物期权;算力套利;混合架构
一、问题的形式化:这不是选择困难,是期权定价
那条被反复转述的时间线,本质上记录的是一个决策者在两类算力获取方式之间的往返:一是以显卡为载体的本地持有,二是以API为载体的按量租用。表面上,这是“哪个更划算”的比较;但真正让决策者反复横跳的,不是算错了账,而是两类方案的成本结构在时间维度上根本不同构。本地持有是一次性大额支出加持续的小额运营支出,成本曲线前高后低、边际成本递减;API是按调用量线性计费,成本曲线从零起步、边际成本恒定。两条曲线必然存在交点,而交点位置会随模型能力、硬件价格、电价、API单价和自身调用量共同移动。
本文评述:把这一现象称为“追涨杀跌”并不准确。追涨杀跌描述的是在价格趋势中被动跟随、缺乏估值锚的行为;而这里的问题恰恰是估值锚太多——开源模型每升级一次,本地方案的隐含价值上升;API每降价一次,云端方案的隐含价值上升。决策者不是没有锚,而是锚在漂移。更恰当的描述是:他在不断为一份实物期权重新定价,却缺少一套稳定的定价方法。
为便于后续推导,先给出本文使用的两个定义。本地算力资产指由决策者自行购置并部署的推理硬件(GPU、整机、配套供电与散热),其产出是以token计量的推理服务。云端推理合约指通过API按实际消耗计费的推理服务,其特点是零前置资本支出、单价由供应商公布、可随时终止。两者在功能上可替代,在财务结构上不可替代——这正是期权视角的切入点:持有本地资产,相当于支付一笔权利金(硬件购置与折旧),获得“在未来任意时刻以接近零的边际成本调用算力”的权利;使用API,相当于放弃这份权利,换取“不为闲置付费”的灵活性。
从工程实践看,这条时间线的每一次转折都对应一个可观测的外部事件:某开源模型在特定尺寸上达到可用水平、某API宣布降价、某量化版本让消费级显卡跑得动更大参数。这些事件本身是真实的,问题在于决策者把它们当成了“切换信号”,而不是“重新计算盈亏平衡点的输入参数”。信号驱动与参数驱动,是投机与投资的分水岭。笔者认为,本文最有价值的部分不是给出“买或不买”的结论,而是把“什么时候该重新算、按什么口径算、算出来怎么执行”变成一套可重复的流程。
一句话概括全文主线:买显卡不是买设备,是买入一份以硬件为行权价的算力看涨期权;用API不是省钱,是卖出一份灵活性换取的浮动价格合约。是否“投资”,取决于你能否持续管理这份期权的行权条件。
二、成本模型:把“买卡”拆成五项可核算的现金流
多数“买卡还是用API”的争论失败在口径上:只比较显卡价格与API单价,忽略了残值、电力、时间成本与失败风险。一个可用的总拥有成本(TCO)模型至少应包含五项:资本支出(含整机与配套)、折旧与残值、运营支出(电力、散热、网络、运维工时)、利用率折损、以及风险溢价(硬件迭代贬值、模型不兼容、故障停机)。这五项中,前三项容易量化,后两项常被忽略,却往往决定结论方向。
先看资本支出。以消费级与准专业级两条常见路线为例:单卡24GB显存级别的整机,含CPU、主板、内存、电源、机箱与存储,市场价通常在1.5万至2.5万元人民币区间;双卡或专业卡路线则可达4万至8万元。此处不引用具体厂商报价,因为价格随渠道与时间波动剧烈,读者应以采购当日的实际报价填入下表。需要强调的是,配套成本常被低估:高功耗显卡对电源、主板供电、机箱风道与室内散热都有额外要求,夏季长时间满载带来的空调电费在部分气候区可占运营支出的三成以上。
再看残值。显卡不是耐用品,而是快速迭代的准易耗品。过去数年中,同价位显卡的有效显存与能效比大约每18至24个月出现一次台阶式提升;同时,大模型量化技术的进步(从FP16到INT8、INT4,再到各类低比特方案)会进一步压低“跑得动某模型”所需的硬件门槛。这意味着本地资产的账面价值衰减速度,往往快于其物理寿命。本文评述:把显卡按五年直线折旧是常见的会计简化,但在推理场景下更接近三年甚至两年半的经济寿命,且残值率应保守估计——二手市场对上一代卡的需求,会随新一代卡上市和云端降价同时收缩。
运营支出中最容易被误算的是运维工时。本地部署不是插电即用:驱动与CUDA版本匹配、推理框架选型、量化与显存规划、并发与批处理调优、监控与告警、故障恢复,每一项都需要时间。对个人开发者,这些时间的机会成本可以用其小时费率折算;对小团队,则体现为“本可用于产品迭代的工程资源被占用”。这部分成本不体现在账单上,却真实存在,且随模型更新频率上升而增加。
利用率折损是五项中最具决定性的变量。本地资产一旦购入,其单位产出成本与利用率成反比:闲置时段的折旧与电费照付,但产出为零。API则天然按需,闲置成本为零。因此,本地方案的竞争力高度依赖“能否把卡喂饱”。这一点在个人场景中尤为尖锐:多数个人用户的推理需求是脉冲式的——某几天密集调试,随后数周低负载。脉冲式负载与本地持有之间的错配,正是那条时间线反复横跳的财务根源。
| 成本项 | 计量口径 | 常见误算 |
|---|---|---|
| 资本支出 | 整机含配套,一次性 | 只算显卡,漏算电源/散热 |
| 折旧与残值 | 按经济寿命2.5–3年,残值保守 | 按5年直线折旧,高估残值 |
| 运营支出 | 电力×负载时长+空调+网络 | 只算待机,不算满载与散热 |
| 运维工时 | 小时费率×部署与维护小时 | 视为零成本 |
| 利用率折损 | 实际产出token / 满载理论产出 | 按满载估算,忽略脉冲负载 |
把五项合并,可以得到一个便于比较的表达式。设资本支出为 C,经济寿命 N 年,残值率 r,年运营支出 O,年运维工时折算 M,年实际产出 Q(以百万token计),则本地方案的等效单价为:
本地等效单价 = [ C × (1 − r) / N + O + M ] / Q
其中:
C 资本支出(元)
r 残值率(0–1)
N 经济寿命(年)
O 年运营支出(元/年)
M 年运维工时折算(元/年)
Q 年实际产出(百万token/年)
这个式子的价值不在于精确,而在于暴露敏感性:分子中的前三项相对刚性,分母 Q 却是弹性的。当 Q 翻倍,等效单价近乎腰斩;当 Q 减半,等效单价近乎翻倍。这解释了一个常见现象:同一张卡,有人算出“比API便宜一个数量级”,有人算出“贵得离谱”,差异主要来自 Q 的假设,而非硬件本身。笔者认为,任何不披露利用率假设的“本地更便宜”结论,都不具备可迁移性。
三、盈亏平衡:每百万token的本地成本怎么算
为了让上面的模型可操作,需要把“年产出 Q”换算成可观测的指标。推理服务的产出通常以输入token与输出token分别计量,二者成本不同:预填充阶段计算密集但可并行,解码阶段受显存带宽约束、逐token生成。工程上常用“每百万输出token成本”作为横向比较口径,但必须注明输入输出比例,否则不同负载之间的数字不可比。本文建议采用“混合token”口径:按实际业务的输入输出比例加权,并在表格中显式记录该比例。
下面给出一个可复现的测算示例。所有数值均为模拟数据,用于演示方法,不代表任何厂商报价或实测结论。假设:整机资本支出2万元,经济寿命3年,残值率30%,年运营支出(电费+散热+网络)2400元,年运维工时折算6000元,年实际产出按每天有效满载4小时、每小时产出约0.6百万输出token估算,即约876百万token/年。代入公式:
分子 = 20000 × (1 − 0.30) / 3 + 2400 + 6000
= 4666.7 + 2400 + 6000
= 13066.7 元/年
本地等效单价 = 13066.7 / 876 ≈ 14.9 元 / 百万输出token
这个数字必须与同期API单价对照才有意义。假设某API对输出token报价为每百万2元(模拟数据,仅作演示),则本地方案在该利用率下明显更贵;若把日有效满载提升到12小时,年产出约2628百万token,等效单价降至约5.0元,仍高于该假设下的API单价;只有当API单价上升、或本地产出进一步提升、或资本支出下降时,交点才会移动。本文评述:这个算例的意义不是证明“本地不划算”,而是说明在低利用率区间,本地方案几乎不可能在纯经济性上胜出;本地方案的价值必须从“单价”之外寻找——数据不出域、延迟可控、可离线、可深度定制、不受供应商条款变更影响。
反过来,高利用率区间的结论会翻转。若把年产出提升到每天20小时有效负载(对个人不现实,对小团队的服务化部署则常见),年产出约4380百万token,等效单价约3.0元;此时若API单价为每百万5元,本地方案开始具备经济优势。这引出一个关键判断:本地化的经济性门槛,本质上是利用率门槛。个人用户的脉冲式负载很难跨过这道门槛,而把本地算力服务化、供多人或多任务共享,则是跨过门槛的主要工程手段。
| 日有效满载 | 年产出(百万token) | 本地等效单价(元/百万) | 相对API的胜负条件 |
|---|---|---|---|
| 2 小时 | 438 | 29.8 | API单价需高于约30元 |
| 4 小时 | 876 | 14.9 | API单价需高于约15元 |
| 8 小时 | 1752 | 7.5 | API单价需高于约7.5元 |
| 12 小时 | 2628 | 5.0 | API单价需高于约5元 |
| 20 小时 | 4380 | 3.0 | API单价需高于约3元 |
这张表最重要的读法不是逐行比较,而是看斜率:从2小时到8小时,等效单价下降约四倍;从8小时到20小时,只再下降约2.5倍。这说明本地化的经济性在低利用率区对利用率极度敏感,在高利用率区则趋于平缓。工程含义是:如果你无法把利用率稳定推到中高区间,就不应指望通过“再买一张卡”来摊薄成本——新增资本支出会同时抬高分子、并要求更高的分母,边际改善可能为负。这正是一些用户“越买越亏”的机制。
四、交替跳水的机制:为什么两条曲线会反复交叉
要理解那条时间线为何反复,需要看清两条成本曲线的驱动因素并不相同。API价格的下行,主要由三股力量推动:推理硬件的能效提升、批处理与投机解码等 serving 技术的成熟、以及供应商为争夺份额进行的战略性定价。开源模型能力的上行,则主要由训练数据质量、架构改进与蒸馏/量化技术推动。两者节奏不同步:API降价往往以“事件”形式出现(一次公告、一次调价),开源模型进步则以“版本”形式出现(一次发布、一次权重更新)。事件与版本交替出现,就形成了决策者感知到的“交替跳水”。
本文评述:把这种交替理解为“市场在戏弄我”是一种拟人化误读。更准确的机制是,本地资产的价值取决于“开源模型能力 / 硬件门槛”这个比值,而API的价值取决于“闭源模型能力 / 单价”这个比值。两个比值各自单调改善,但改善速度不同,且都存在阶跃。当开源侧出现阶跃(例如某尺寸模型在消费级显存上达到可用),本地资产的隐含价值跳升;当API侧出现阶跃(例如大幅降价或能力跃升),云端合约的隐含价值跳升。决策者若在每次阶跃后立即行动,就会表现为反复横跳。
这里可以引入一个经典概念:实物期权。经典金融理论中,延迟投资的权利本身具有价值,其大小随不确定性上升而上升。本文评述:在算力决策中,这份“延迟权”恰恰是API提供的——你不必现在决定,可以等价格与能力更明朗再决定。而买卡相当于提前行权,放弃了延迟权。因此,买卡是否理性,取决于提前行权带来的收益(更低的边际成本、数据可控、延迟可控、定制自由)是否超过放弃延迟权的机会成本。当API价格处于快速下行通道时,延迟权的价值很高,提前行权更不划算;当API价格趋稳、而你自身的利用率稳定偏高时,延迟权价值下降,提前行权开始合理。
这解释了一个反直觉的现象:在API降价最猛的时候买卡,往往是最差的时点,因为此时延迟权价值最高;而在API价格横盘、你自己负载稳定的时候买卡,反而更稳。那条时间线中的决策者,恰恰是在“开源模型不错”的兴奋点上买卡,在“API便宜”的公告后弃用,两个动作都发生在阶跃之后,都是对已实现信息的追认,而非对未实现价值的定价。笔者认为,这就是“追涨杀跌”指控中唯一成立的部分:不是买卡本身错,而是买卡的时点由外部公告驱动,而非由自身利用率与成本曲线驱动。
判断标准可以简化为一句:如果你的买卡理由是“某个模型发布了”,那是追涨;如果理由是“我的负载已连续数月超过盈亏平衡点”,那是投资。
还有一个常被忽略的机制:切换成本。每次在本地与API之间迁移,都涉及提示词适配、评测回归、错误处理、监控埋点、计费口径调整。这些成本不体现在单价里,却会在频繁切换中累积。频繁横跳的用户,其真实成本往往高于“一直用API”或“一直用本地”两种极端策略。这一点在工程上可以用“切换税”来刻画:设单次切换的工程成本为 S,年切换次数为 k,则年化切换税为 kS。当 k 较大时,这笔税足以吞掉单价比较带来的全部收益。降低切换税的办法不是“少切换”,而是把切换做成配置项而非重构——这正是下一节混合架构要解决的问题。
五、混合架构:把“二选一”改成“分层路由”
既然两条曲线会反复交叉,最优解通常不是押注其中一条,而是构建一个分层路由的推理架构:把请求按敏感度、延迟要求、质量要求与成本预算分流到本地或云端,并让分流规则可配置、可灰度、可回滚。这样做的直接收益是把“买或不买”的一次性决策,转化为“每类请求走哪条路”的持续优化;间接收益是大幅降低切换税,因为切换发生在路由层,而非应用层。
一个可落地的分层设计如下。第一层是敏感层:涉及个人隐私、未公开代码、客户数据、合规要求高的请求,默认走本地,不因API降价而改变。第二层是质量层:对输出质量要求高、且对成本不敏感的任务(复杂推理、长文档分析),默认走能力最强的云端模型,本地作为降级备份。第三层是吞吐层:高频、低复杂度、可容忍一定质量损失的任务(分类、抽取、格式化、草稿生成),优先走本地,本地排队超阈值时溢出到云端。第四层是实验层:新模型、新提示词、新任务的评测流量,默认走云端按量计费,避免为未验证的需求购置硬件。
实现上,路由层应至少暴露三个可观测指标:每类请求的本地命中率、本地队列等待时间、以及单位请求的混合成本。前两个决定用户体验,第三个决定经济性。一个常见的工程细节是统一计量口径:本地与云端的token计数方式、输入输出比例、缓存命中规则可能不同,若不统一,混合成本会失真。建议在网关层做一次归一化,把两类调用都折算为“混合token”,并记录每次调用的实际路由决策,便于事后归因。
# 路由伪代码(示意,非可直接运行)
def route(req):
if req.sensitivity == "high":
return LOCAL
if req.quality_tier == "premium":
return CLOUD_STRONG
if local_queue.depth() < THRESHOLD and req.quality_tier == "standard":
return LOCAL
return CLOUD_CHEAP
# 关键:THRESHOLD 应随本地利用率与云端单价动态调整
# 建议每周重算一次,而非每次请求重算
本文评述:混合架构的真正价值不在于“省钱”,而在于把不确定性变成可管理的参数。当API降价时,你只需下调溢出阈值,让更多吞吐层请求走云端,无需卖卡;当开源模型升级时,你只需上调本地命中率,让更多请求走本地,无需重新采购。硬件采购由此从“对市场方向的押注”变成“对本地基载容量的配置”——只为那些确定会走本地、且长期走本地的请求买卡。这个思路与电力系统中的基载/调峰机组分工高度同构:本地算力是基载,API是调峰,二者按边际成本排序调度。
需要提醒的边界条件是:混合架构本身有固定成本——网关开发、监控、评测集维护、双份提示词适配。对小规模个人用户,这套设施的复杂度可能超过其收益,此时更简单的策略是“默认API + 少量本地应急”,而非完整分层。工程判断的标准是:当混合架构的年化运维成本低于其带来的单价节省与切换税节省之和时,才值得建设。这个不等式应每年重算,因为两侧都在变化。
拓展阅读方面,vLLM 官方文档对连续批处理与 PagedAttention 的说明,是理解本地吞吐上限的基础材料(docs.vllm.ai);Hugging Face 的 TGI 文档给出了另一条 serving 路线的工程细节(huggingface.co/docs/text-generation-inference);Ollama 的模型量化与显存规划文档适合个人用户快速验证可行性(github.com/ollama/ollama)。视频类材料可参考各家推理框架作者在会议上的 serving 优化分享,重点看批处理与显存管理两节。
六、采购纪律:一份可执行的决策清单与止损规则
把前面的分析落成操作,需要一份清单。清单的作用不是替你决策,而是强制你在决策前补齐信息,避免被单条公告牵着走。以下步骤按顺序执行,任一步不通过则暂缓采购。
第一步,量化基载。连续记录至少八周的推理调用日志,按任务类型统计token量、峰值并发、延迟要求与敏感级别。目标是识别出“确定会长期走本地”的基载请求占比。若该占比低于总调用量的三成,本地化的经济性基础通常不牢。
第二步,填表测算。用第二节的五项模型与第三节的敏感性表,把基载请求代入,算出本地等效单价,并与当前API单价对照。注意两点:API单价要用你实际会用的档位,而非最低档;本地等效单价要用保守残值与真实运维工时,而非理想值。
第三步,压力测试。把关键假设各打八折:利用率打八折、残值率打八折、API单价打八折(即假设它还会降)。若在这些不利假设下本地仍具经济性或战略必要性,采购才具备稳健性;若结论翻转,说明你押注的是市场不会继续变好,这不是投资逻辑。
第四步,设定止损与复核节点。采购前就约定:若连续三个月基载占比低于阈值,或API单价降至本地等效单价的某一比例以下,则启动“降级使用”或“转售”预案。复核节点建议按季度,与模型发布和API调价的节奏对齐,但复核不等于必须行动——复核的产出是更新参数,而非自动切换。
第五步,优先买“够用”而非“最强”。由于硬件迭代快、量化技术持续压低门槛,为“未来可能用到的更大模型”预付溢价,等价于买入一份高波动、低流动性的期权。更稳的做法是按当前基载的显存需求上浮一档配置,把剩余预算留给后续的增量采购或云端弹性。
| 检查项 | 通过标准 | 不通过时 |
|---|---|---|
| 基载占比 | ≥30%,且连续八周稳定 | 继续用API,暂缓 |
| 等效单价 | 低于实际API档位单价,或具备明确战略必要性 | 重新评估配置 |
| 压力测试 | 三项假设各打八折后结论不翻转 | 视为投机,暂缓 |
| 止损预案 | 已书面约定阈值与动作 | 先写预案再采购 |
| 配置档位 | 按当前基载上浮一档,不追最高 | 下调配置或分批采购 |
本文评述:这份清单的核心是“先量化、后决策、再设止损”,它把情绪化的横跳转化为有节奏的复核。需要承认的是,清单无法消除不确定性——API可能突然大幅降价,开源模型可能突然出现能力跃升,硬件可能突然换代。但它能保证你在不确定性中不做出不可逆的错误动作:不因一次公告卖卡,也不因一次发布超配。对个人用户,这已经足够;对小团队,还应把清单纳入采购流程,让“是否买卡”成为有记录、可追溯的工程决策,而非某个人的临时判断。
七、局限、反例与前沿预判
任何成本模型都有边界,本文的模型至少有三处局限。其一,它假设本地与云端的输出质量可比,但实际中同一提示词在两侧的表现可能差异显著,质量差异会改变“等效”的前提。其二,它把运维工时按固定费率折算,忽略了学习曲线——首次部署耗时远高于后续维护,若按平均值处理,会低估前期投入。其三,它未充分刻画供应商风险:API的条款、限流、可用性、数据使用政策都可能变化,这些变化不体现在单价里,却可能构成实质成本。本文评述:这三处局限不否定模型的价值,但提醒读者把结论当作“决策辅助”而非“决策替代”。
反例同样重要。存在一类场景,本地化在经济性上并不占优,却仍然合理:强合规行业的数据不出域要求、离线或弱网环境的可用性要求、以及对推理过程做深度干预的研究需求。这些场景下,本地资产的价值来自“权利”而非“单价”,用TCO模型去否定它们是范畴错误。反过来,也存在一类场景,本地化看似划算实则不然:把一次性采购摊到很长的使用周期上、假设硬件能跑未来更大的模型、忽略电费与散热——这些假设在纸面上让本地显得便宜,在现实中会被迭代速度击穿。
前沿预判方面,有三条趋势值得跟踪。第一,推理侧效率仍在快速提升:连续批处理、前缀缓存、投机解码、低比特量化等技术的工程化,持续抬高单位硬件的有效吞吐,这会同时改善本地与云端的成本,但对本地的影响更直接——因为它降低了“跑得动”的门槛。第二,API定价的分层化:供应商越来越倾向于按能力、延迟、上下文长度分层定价,而非单一单价,这会让“API单价”这个单一数字失去比较意义,决策者需要按自己的请求分布加权。第三,端侧与边缘推理的成熟:随着小尺寸模型能力提升,部分任务会从“本地大卡”下沉到“终端小模型”,这会进一步改变本地资产的配置逻辑——未来买卡可能不再是为了跑最大模型,而是为了跑最合适的模型组合。
笔者认为,这三条趋势共同指向一个结论:算力决策的频率会上升,但单次决策的权重会下降。当硬件与模型都快速变化时,押注单一路线的风险上升,而保持可切换性的价值上升。这与混合架构的判断一致,也解释了为什么“反复横跳”在感受上如此普遍——不是决策者不理性,而是市场确实在快速重定价,缺少纪律的理性会表现为频繁动作。
八、结论:投资还是追涨杀跌,取决于你是否在管理期权
回到开头那条时间线。它之所以引起共鸣,是因为它精确记录了一种普遍处境:在两条都在快速改善的成本曲线之间,个人的决策节奏被外部公告牵着走。本文的分析表明,买卡既可能是投资,也可能是追涨杀跌,区别不在买不买,而在买的时候是否在管理一份期权——是否量化了基载、是否测算了等效单价、是否做了压力测试、是否设定了止损与复核节点。做到这些,买卡是对确定性基载容量的配置;做不到,买卡就是对市场方向的押注。
对大多数个人开发者,本文的倾向性结论是:默认用API,把本地留给敏感、离线与实验性需求,除非你的基载占比与利用率已经稳定跨过盈亏平衡点。对小团队,结论是:建设分层路由,把本地作为基载、云端作为调峰,让采购决策从“押方向”变成“配容量”。两种结论共享同一个方法论:先量化,再决策,持续复核,保留可切换性。
最后需要强调,本文所有测算均为方法演示,数值为模拟数据,不构成任何采购或商业建议。真实的决策应基于你自己的调用日志、当地电价、实际报价与合规要求。市场会继续变化,模型会继续升级,API会继续调价——这些都不是需要预测的变量,而是需要纳入复核的参数。把参数管好,横跳自然减少。
- Kwon W, Li Z, Zhuang S, et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP, 2023.
- Yu G I, Jeong J S, Kim G W, et al. Orca: A Distributed Serving System for Transformer-Based Generative Models. OSDI, 2022.
- Leviathan Y, Kalman M, Matias Y. Fast Inference from Transformers via Speculative Decoding. ICML, 2023.
- Dettmers T, Pagnoni A, Holtzman A, et al. QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS, 2023.
- Frantar E, Ashkboos S, Hoefler T, et al. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. ICLR, 2023.
- Lin J, Tang J, Tang H, et al. AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration. MLSys, 2024.
- Pope R, Douglas S, Chowdhery A, et al. Efficiently Scaling Transformer Inference. MLSys, 2023.
- Aminabadi R, Rajbhandari S, Awan A A, et al. DeepSpeed-Inference: Enabling Efficient Inference of Transformer Models at Unprecedented Scale. SC, 2022.
- Zheng L, Yin L, Xie Z, et al. SGLang: Efficient Execution of Structured Language Model Programs. NeurIPS, 2024.
本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。
内容仅供学习参考。如需引用,请以原始文献为准。 全文约 12800 字 | 参考文献 62 篇(主要 9 篇)。

