大模型供应商的SLA经常以API可用率表达,但企业客户购买的是能完成工作的AI服务。HTTP返回200、模型实际回答正确、引用可追溯以及用户最终完成任务,是四个不同层级。Google SRE的SLO实践强调以用户任务定义服务指标,NIST AI RMF则提醒治理可信性和持续评估。采购谈判应把技术在线率和业务有效性拆开,而不是把99.9%当成全部质量承诺。
先定义真正可计费的有效任务
以AI工单归类为例,用户提交一次申请,模型成功返回分类标签却把紧急工单归错组,对API而言成功,对企业而言失败。建议用“合格任务数/全部有资格的生产任务数”定义有效任务率,再把接口可用率、超时率、幻觉复核率、人工转交率作为独立辅助指标。要明确分母是否包括用户取消、违规请求、重复提交、上游数据缺失及人工处理的任务。忽略分母会出现服务商展示99.99%请求成功率,而客户实际只完成一半任务的错位。所有指标应能由审计日志复核,而不是由供应商提供一张无法解释的百分比截图。
用SLO和错误预算管住真实故障
Google SRE工作手册以服务级指标SLI、服务级目标SLO以及错误预算组织可靠性决策。若企业约定四周内99.9%的有效请求成功率,理论错误预算是0.1%;假设一个月总计一百万合格请求,示例允许的未成功请求为一千。该数字用于说明计算方式,并非建议AI服务都采用同一个门槛。AI业务还应对关键场景设单独指标,如高风险问答的人工复核、实时语音的延迟与中断恢复。只按全站平均统计可能掩盖一类客户或一个市场持续失效的情况。
将可用性与质量阈值合并成验收规则
采购合同可区分三层:平台可访问、任务按时完成、输出通过业务质量审查。第一层测身份鉴权和端点响应;第二层测任务是否在允许的最长时间内完成;第三层依据事先定义的业务样本对准确性、引用和安全进行检查。模型升级后即使接口仍然在线,输出结构变化也可能破坏业务程序。为此采购方应保留固定回归样本、真实业务抽样以及异常升级冻结机制。切勿把“99.9%可用”解释为“99.9%回答正确”,合同中应明确每一个指标是否是具有赔付条款的SLA,还是双方内部改进的SLO。
补偿条款必须联系实际损失机制
常见服务信用抵扣以月度可用率和服务费为基础,通常不能弥补所有重做工作。企业应核查索赔门槛、证据提交时限、服务商认定的维护窗口、第三方依赖排除及最高责任限制。比如推理费用一万元,因故障额外让人工团队返工三万元,若合同只退部分API费用,真实损失仍由客户承担。这个金额是示例场景。可采用内部停用预案和供应商切换方案降低风险,而不是寄希望于赔付覆盖全部经营影响。尤其要避免只在采购演示时测稳定性,上线后没人跟进错误预算。
以双供应商和降级方案测试恢复能力
对关键业务,预设模型调用失败后的可接受处理:短暂重试、转人工、使用低成本备用模型或延迟批处理。重试必须带有限次数与幂等标记,避免同一订单被重复审批。两个供应商不能仅因都提供文本API就被视为无缝替代;应测试输出模式、工具调用差异、隐私协议和成本上限。制定演练场景:连续五分钟超时、输出格式改变、地区网络故障及模型安全拒绝策略突然变化。恢复时间、人工转接率和丢失任务数比演练中的“服务已切换”提示更具决策价值。
季度复盘同时看费用、质量和用户体验
最终仪表盘建议包含技术成功率、有效任务率、P95响应时延、重试成本、人工处理时长、用户申诉率和净贡献毛利。数据应按日期、模型版本、地区和任务类型拆分;比较前统一分母与口径。若低价模型任务失败率高,计算单次成功任务总成本时应包含失败调用和人工返工。应用NIST风险管理框架时,还应明确谁批准模型变更、谁处理有害输出、谁有权限停止自动化。采购委员会可以据此决定是否续签、增加质量门槛或将核心任务保留人工确认,而非只盯SLA纸面数字。
可复核示例:假设甲服务每万次调用收费三百元,合格任务率为85%;乙服务每万次调用收费三百六十元,合格任务率为96%。单次合格任务的纯调用成本分别约为0.0353元与0.0375元,乙并非一定更便宜。若甲平均每个失败任务额外耗费五分钟人工、乙只需两分钟,再加入人工单价后结果可能倒转。不要将例子当作供应商真实表现。合同签订前应公开样本选择、人工评分一致性与失败分类方法,特别是不要让供应商只挑容易任务展示效果。
Sources
- Google SRE:《Implementing SLOs》(持续维护;2026-11-15核验)
- Google SRE:Error Budget Policy(2018-02-19)
- NIST:AI Risk Management Framework(2023-01-26)
摄影:Taylor Vick / Unsplash;示意图不代表文中企业或服务。
发布者:Tuike BI,转转请注明出处:https://www.tuikebi.com/archives/7229