AI算力采购：GPU利用率不是有效任务成本

企业采购AI算力时，最常见的比较表往往写着GPU型号、显存容量、每秒Token数和设备利用率。问题在于，技术指标再漂亮，也不能直接等于商业收益。一台机器可以持续满载，却因为模型输出不符合要求、请求排队过久或者大量失败重试而交付很少的有效业务结果。反过来，看起来利用率不高的系统，如果能在关键时刻稳定完成高价值任务，也可能拥有更好的单位经济性。采购决策应从“机器忙不忙”转向“最终有效任务花了多少钱”。

先定义什么叫有效完成的AI任务

不同业务的有效任务不能混为一谈。客服场景的有效任务，可能是回答准确且用户无需再次转人工的咨询；编程助手场景，则可能是通过测试并真正合并的代码建议；数字人语音互动还需要同时满足延迟、音画连续性和用户可理解性。采购负责人必须与业务负责人共同写下验收口径，明确成功、部分成功、失败和主动取消的边界。否则业务部门按解决率汇报，技术团队按请求成功率汇报，财务按账单金额汇报，三份数据根本无法对上。

MLCommons发布的MLPerf Inference基准说明强调在不同部署场景下衡量系统运行模型的性能。这类标准化基准适合观察设备和系统能力，但不能直接替代企业自己的端到端业务验收。采购团队应同时保留公开基准、内部任务集和真实生产样本三个层次。不能因为某一基准跑分领先，就假设企业全部工作流的有效产出同比提高。

建立从请求到有效结果的成本漏斗

建议将一笔AI工作流拆成五个环节：进入系统的总请求、获得资源的请求、模型成功返回的请求、通过业务质量检查的请求、最终被用户采用或完成的任务。每一层都需要记录分母，特别是被限流、超时、取消和重复调用吞掉的部分。假设某系统一天接收十万次请求，八万次成功返回，其中六万次满足业务质量要求，最后只有四万次形成有效完成任务。那么用十万次请求计算的平均成本，必然低估每次真正交付的成本。

举一个完全假设的算例：每日GPU、CPU和网络运行费合计800美元，人工运维与质量抽检费200美元，第三方模型与软件服务费再加200美元，总成本1200美元。如果有效完成任务为四万次，则每次有效任务成本为0.03美元。若按十万次进入系统的请求计算，会误写为0.012美元，低估幅度非常大。这里的金额和转化比例只用于展示计算方法，并非任何厂商的实际成本。

GPU高利用率可能掩盖排队和服务质量问题

设备利用率只说明某种计算资源在一段时间里的忙碌程度，不说明请求是否在用户可接受时间内完成。批处理任务允许较长等待，而实时语音、互动数字人和面向客户的智能客服，对响应延迟更加敏感。单纯追求高利用率，可能增加排队时长，导致更多用户提前退出，最终损害有效任务产出。服务等级目标应包含尾部延迟，例如p95或p99，但指标阈值要由具体业务确定，不能照搬另一个行业。

还需要区分预填充和逐Token生成的不同计算特征，以及短请求与长上下文请求对内存的影响。同一个GPU集群在请求结构改变后，吞吐量可能出现明显变化。采购时应使用接近业务真实比例的任务混合测试，而不是只跑一种固定长度的提示词。若供应商提供漂亮的平均值，要求附上并发数、输入输出长度、是否启用缓存、失败请求处理方式和测量时间窗口。

把能耗和闲置容量纳入长期账本

AI算力还有一层容易被遗漏的成本：机器必须为高峰负载预留的冗余容量。订阅制业务可能在晚间集中使用，全天平均利用率很高也不代表高峰没有排队问题。对租赁实例，需要比较按量付费、预留实例和弹性扩容的账单差异；对自建机房，还要加上电力、散热、维护、折旧和机房资源。成本归集应明确哪些属于项目专用，哪些属于多个产品共用。

国际能源署的《Energy and AI》报告（2025年）讨论了数据中心与人工智能带来的能源需求与系统影响。该报告可帮助企业理解能源成本和基础设施约束的重要性，但不能直接推导某个具体GPU实例的电费。实际采购必须使用合同电价、机房能效、服务器实际功率和可观察的运行时长计算。对于难以准确归因的共享设施费用，应建立透明分摊规则并做敏感性分析。

供应商对比需要同一质量门槛

如果A模型每次调用便宜，但需要两次重试和大量人工修正；B模型单次调用较贵，却能一次通过质量检查，直接比较Token单价就会得出错误结论。建立一个包含不同难度、不同语言与不同长度的企业任务集，对每个供应商执行相同的质量评分，并记录平均与尾部延迟。质量门槛未通过的请求，不应与合格请求放在同一个可比的成本分母里。

报价表还要明确输入、输出、缓存命中、工具调用、向量检索、存储、外网流量和人工处理分别怎样计费。供应商免费试用期间的优惠额度不能当成长期正常成本。比较时至少设定三组负载：普通日、峰值日、增长后。让财务看到结果对流量和成功率假设的敏感程度，比单一“每千Token成本”更有决策意义。

从成本核算走到真实毛利管理

真正有价值的指标是有效任务贡献毛利。先从每次任务对应的可归因收入或客户合同价值中扣除直接模型成本，再扣除网络、存储、第三方工具、退款和必要的人工交付成本，最后审慎分摊基础设施固定费用。并非所有AI场景都适合按任务收费，但都可以在内部建立任务级成本可见性。对无法准确归因的品牌价值和长期客户关系，不应为了得到好看的利润率而主观填入估值。

这套方法也能帮助企业选择采购策略：高峰必须稳定响应的业务，可能需要额外容量；可延迟完成的后台批处理，则可以追求更高的设备利用率。最终的采购报告应该呈现质量、时延、有效任务成本、风险与扩展空间五个维度，而不是只给出GPU跑分榜单。把算力理解为一种服务交付能力，才能把技术采购真正连接到商业结果。