一、Token工厂的利润，为什么没有随着需求一起增长？
如果把大模型推理比作一座工厂，那么 GPU 是生产设备，电力是持续投入的能源，Token 则是最终交付的产品。
这门生意的吸引力不难理解：模型调用越多，推理服务的需求就越旺盛，Token 工厂的收入也就有了增长空间。
但需求旺盛，只能解释市场为什么热闹，不能解释谁能真正赚钱。
对于大型运营商而言，低价电力、大规模采购和稳定的客户需求，可以共同摊薄单位成本。对于较早进入市场的参与者，提前采购的设备还可能形成额外优势：当硬件价格上涨时，已有设备的历史采购成本不会同步上升。
后来者面对的则是另一幅图景。
设备要按照更高的市场价格采购，项目需要重新投入部署与调优成本，还要争取足够的订单和利用率，才能让昂贵的硬件持续运转。
同样一张 GPU，放在不同的采购周期、不同的电价环境和不同的运营体系里，可能对应着完全不同的利润空间。
因此，Token 工厂的竞争不能只看算力规模，也不能简单归结为 CUDA 是否构筑了行业壁垒。真正需要回答的问题是：当两家工厂生产同样的 Token 时，谁的成本更低，谁又能以更低的成本持续交付？
答案首先藏在电力与折旧这两本账里。
二、先来者的优势，藏在设备买入的那一天
Token 工厂的成本，可以先简化为两大部分：持续发生的电力成本，以及前期硬件投入在整个使用周期内的摊销。
前者决定每生产一批 Token 需要消耗多少能源，后者决定昂贵的设备需要靠多少产出来收回投资。
这里有一个容易被忽视的变量：残值。
设备的采购价格，并不等于它最终需要承担的全部折旧成本。简化来看，设备的可折旧金额约等于采购价减去预计残值，再由设备的有效工作时间和实际利用率共同决定单位时间需要分摊的成本。
换句话说，设备不仅要买得划算，还要用得足够久、足够满，并尽可能保有合理的残值。
SMM 市场跟踪数据显示，H100 八卡整机国内采购价已由 6 月的约 250 万元/台升至目前的约 370 万元/台；华东区域月租则由 6 月的 6.75 万—8 万元/台/月升至目前的 8.8 万—8.9 万元/台/月。
这组数据揭示了一个值得关注的变化：硬件采购成本与算力租赁价格都在上升，但两者对新老玩家的意义并不相同。
假设两家运营商分别在 6 月和当前采购同规格设备，前者的采购成本约为 250 万元/台，后者则约为 370 万元/台。两者相差 120 万元，后者的初始投入高出前者约 48%。
这意味着，即使两家工厂获得相同的租赁收入，承担相同的电费和运维支出，后来者也需要消化更高的硬件投入。
当然，实际折旧还取决于设备寿命、残值、融资成本和利用率，不能仅凭采购价直接推导净利润。但在其他条件相近时，更高的买入成本无疑会抬高投资回收的门槛。
对先来者而言，较低的历史采购成本可能与当前较高的租赁价格形成有利组合；如果二手市场残值也随硬件价格走高，其持有资产的经济价值还可能进一步改善。
对后来者而言，同样的涨价却意味着更高的资金占用和更大的回本压力。
这也是算力资产与普通消费品的一个重要区别：硬件涨价不只是增加采购支出，还可能重新分配产业链不同阶段参与者的利润空间。
先买入的人，拥有的是已经锁定的成本；现在入场的人，则必须用今天的价格，去竞争未来的收入。
三、Blackwell的价值，不只是算得更快，而是让每度电产出更多Token
如果说采购价格决定了 Token 工厂的成本起点，那么设备的实际推理效率，就决定了这笔投资最终能跑出怎样的经济性。
尤其是在长文本推理场景下，决定生产效率的并不只有 GPU 的计算能力，显存容量、互联带宽、上下文缓存管理和软件调度同样关键。
原因在于，大模型处理长文本时，不仅要完成当前 Token 的计算，还需要维护和访问此前上下文对应的缓存。随着上下文长度和并发请求增加，显存容量与数据搬运效率会逐渐影响系统的整体吞吐。
如果显存不足，系统可能需要拆分任务、转移数据，甚至增加设备数量；如果不同计算阶段之间缺乏有效调度，部分昂贵的 GPU 也可能在等待中闲置。
这意味着，单看一张卡的峰值算力，很难判断整座 Token 工厂的真实生产能力。
以英伟达 Blackwell 高端系统为例，其产品方案通过大容量 HBM3e 显存、低精度推理能力以及软硬件协同优化，提升大模型推理的承载与执行效率。相关高端 GPU 配置可提供 288GB 级别的显存容量，八卡系统的总显存约为 2.3TB（按单卡 288GB 计算）；整柜系统则可进一步扩大 GPU 显存规模。
在长上下文、高并发推理场景中，更大的显存空间有助于承载更长的上下文和更多并发请求，减少因资源不足产生的额外调度与数据搬运。FP4 等低精度推理技术，则有助于在适用的模型与精度要求下提高推理效率。
与此同时，英伟达的 Dynamo 推理软件框架支持将上下文处理与 Token 生成等不同阶段拆分调度，使资源能够按照不同任务的特点进行配置，减少阶段之间的相互等待。
这些技术的商业价值，最终都要落到一个问题上：在相同的电力与基础设施约束下，系统究竟能交付多少可计费的 Token？
英伟达公布的相关性能数据中，Blackwell 整柜方案在特定测试条件下的每兆瓦 Token 吞吐量较 Hopper 平台提升可达 5 倍。需要注意的是，这属于厂商特定测试口径下的性能比较，实际结果仍取决于模型、输入输出长度、精度设置和系统配置，不能直接等同于所有场景下的成本下降幅度。
不过，其背后的产业逻辑是明确的：如果一套系统能够在相同功耗下交付更多 Token，或者以更少的设备完成相同的推理任务，那么它就有机会降低单位 Token 的电力与设备成本。
对于 Token 工厂而言，这才是硬件升级真正值得关注的地方。
SMM 认为，国产算力设备与国际领先平台之间的竞争，也应放在这一系统层面观察。
如果单卡显存容量、设备互联效率、推理框架和模型适配能力存在差距，运营商可能需要通过增加设备数量、提高跨机通信开销或投入更多工程调优来弥补。最终增加的，不只是硬件采购支出，还可能包括电力、运维和部署成本。
因此，国产替代的竞争力不能只用芯片参数衡量。真正影响商业回报的，是芯片、整机、互联与软件协同之后，能否以更低的综合成本生产出足够多的有效 Token。
四、CUDA的壁垒：为什么换一批硬件，远不只是重新买卡？
电力与折旧决定了 Token 工厂的成本底线，软件生态则影响这条成本线能否被稳定地实现。
CUDA 于 2006 年推出。经过近二十年的发展，它逐渐从 GPU 通用计算工具，演变为一套覆盖开发工具、计算库、框架适配和工程实践的技术生态。
大量开发者围绕它编写和优化代码，企业据此建立开发流程、招聘体系和生产环境。对于许多 AI 企业而言，CUDA 的价值不仅在于能够运行模型，更在于已经有一套经过验证、可以持续维护的工具链。
这构成了一种不同于硬件性能的竞争优势：
假设一家 Token 工厂希望更换 GPU 平台，表面上看，只需要采购新设备、部署模型。但在实际生产环境中，它还可能需要重新适配算子与计算库，验证模型输出，调整推理框架，并对性能、稳定性和故障处理机制进行测试。
这些工作都需要工程师投入时间，也可能影响业务上线和设备利用率。
如果新平台在某些模型上能够降低硬件成本，却需要付出较高的迁移成本，那么它的账面优势未必能直接转化为经营优势。
反过来，成熟的软件生态可以缩短部署周期、降低调优成本，让设备更快进入稳定运行状态。
对于需要持续交付 Token 的工厂而言，时间本身也有成本：设备尚未投入生产时，资金已经占用；模型仍在调优时，电力与基础设施条件也未必能得到充分利用。
因此，CUDA 的壁垒并不是一条禁止其他厂商进入的行政规则，而是由开发工具、工程经验、模型适配和长期投入共同形成的事实标准。
不过，这并不意味着其他技术路线没有机会。
如果国产软硬件能够围绕特定模型和应用场景建立成熟的工具链，减少迁移与调优成本，再结合合适的电价和设备采购条件，依然可能在部分场景中形成竞争力。
真正难以复制的，不只是某一代芯片的性能，而是硬件、软件与运营体系共同积累的效率。
五、SMM观点：Token工厂的竞争，最终要算清三笔账
Token 工厂的商业模式正在走向成熟，但判断其竞争力，不能只看算力规模、Token 报价或芯片峰值性能。SMM 认为，至少有三个问题值得持续关注。
第一笔账：每度电，究竟能产出多少可销售的 Token？
电力不仅是一项持续支出，也是衡量系统效率的重要尺度。运营商需要关注的，不只是 GPU 的理论算力，还包括实际吞吐、有效利用率、长文本处理能力，以及电力和冷却设施能否支撑设备持续运行。
同样的功耗，如果能够交付更多符合客户需求的 Token，单位产出的能源成本就有机会下降。
第二笔账：设备买入之后，需要多少收入才能覆盖折旧？
硬件价格上涨正在改变不同进入时点的成本结构。早期采购者可能享有历史低价带来的优势，而按照当前价格入场的参与者，则需要更高的利用率、更好的租赁价格或更长的有效运营周期，才能达到相近的投资回报。
因此，评估算力项目不能只看当前租金，还要把采购价格、残值预期、设备寿命、融资成本和利用率放在同一张表里。
设备能否持续产生收入，与设备是否值得购买，是两个不同的问题。
第三笔账：技术优势，能否真正转化为运营优势？
芯片性能领先，并不必然意味着整座工厂的成本最低。软件适配、模型调优、设备互联、故障率和运维能力，都会影响最终的有效产出。
国产算力的突破口，也不应局限于单一芯片指标。围绕显存、整机互联、开发工具与推理框架形成协同，降低迁移成本，才更有机会将硬件能力转化为可持续的商业回报。
展望未来，随着 Token 需求增长与算力基础设施持续扩张，行业竞争将逐渐从“有没有算力”，转向“算力能否以合理的成本持续变现”。
低电价可以降低能源支出，高能效可以提高单位功耗产出，高利用率可以摊薄设备折旧，成熟的软件生态则有助于缩短部署周期、减少运营损耗。
这几种优势叠加，才构成 Token 工厂真正的竞争力。
当越来越多的参与者开始生产 Token，决定谁能持续赚钱的，可能不再是谁拥有更多 GPU，而是谁能用更低的综合成本，把每一度电、每一小时设备寿命，都转化为更多可销售的 Token。
