企业采购AI系统最常见的决策误区，是把供应商演示的流畅程度直接等同于生产价值。演示环境往往使用精心挑选的问题、稳定网络和熟悉业务的人员；真实上线后，却需要处理含糊输入、过期文档、访问权限、客户投诉和系统中断。即使模型在演示中正确回答了几十个问题，也不能证明它能稳定完成支付、客服或知识管理任务。企业应在采购合同签署前确定业务样本、净成本、风险门槛与退出机制。
第一步：把宣传能力拆成具体业务动作
采购团队应建立二十到五十个真实但已脱敏的任务样本，覆盖正常、模糊、错误和高风险情况。例如客服要区分解释政策、查询订单、修改地址、办理退款和人工转接；法务需要区分文本摘要、条款提示与最终批准。所有任务要明确成功标准、权限、响应时限以及不可接受的错误类型。
不能让供应商只提交自己挑选的样本。企业应保留独立验收集，并在测试前写明抽样来源、数据保护措施和人工审核方法。这样既可以避免演示调优导致的过拟合，也能为之后更换模型时的回归测试保留基础。
第二步：按错误损失而非表面正确率分级
同样九成回答正确率，应用于商品推荐和银行转账确认会产生完全不同的后果。建立任务风险分级，估计错误造成的人工返工、重复支付、客户退款、违约以及合规处置成本。对于高风险操作，应当设置人工确认、权限分离和可撤销记录；对于低风险内容辅助，可用抽样复核与持续监测降低成本。
建议用每个合格完成任务的净成本衡量项目：模型调用、检索存储、第三方接口、人工审核、错误重做、支持成本和运维投入之和，再除以真正合格完成的任务数。所有成本参数必须注明实际账单或内部假设，不要引用未经核验的行业平均值。
第三步：独立测试数据安全和越权风险
接入企业知识库、CRM或订单系统的AI可能通过检索返回无权查看的内容。验收必须测试不同员工账户、不同客户租户以及已撤销权限的用户是否还能读取敏感信息。对含长期记忆的产品，还应核实记忆纠错、删除与新权限生效的时间，不要把删除聊天列表误认为所有后台副本已经清除。
美国NIST在2023年1月发布人工智能风险管理框架，提出治理、识别、测量和管理风险的组织流程。将这一理念用于采购时，最好转成有负责人的检查项，包括数据流向、第三方处理者、保留期限、权限审计、故障响应及供应商修复承诺。
第四步：把模糊口头承诺写成可测SLA
“回答准确”“支持多语言”“实时响应”等宣传语如果不定义测试条件，就无法作为交付依据。合同应明确业务问题范围、语言样本、目标错误率、响应时间分位数、不可用计算方式、人工转接条件、修复期限和责任归属。若涉及实时数字人或语音，网络环境与设备条件也应写明。
AI产品可能在模型、检索方式或安全策略升级后改变行为，因此必须约定重要更新的通知、回归测试、故障降级和暂停使用权。NIST在2024年7月公布的生成式AI风险管理资料，也强调技术风险应在产品整个生命周期持续评价，而不是一次上线验收后永久放行。
第五步：影子测试比一次性全量接管安全
真正上线前，让AI先在后台生成建议，由原有工作人员继续做最终决策。比较AI建议与人工结果，并计算净处理时间、差错率、投诉率以及有多少任务仍需人工复核。通过后再选择低风险流程逐步放量；如果发现越权或严重误判，应能立即切回原流程，不应依靠临时改提示词勉强继续运行。
设置对照组、停止阈值和复核窗口。报告要明确测试规模、任务类别与语言分布，不要把一个部门的短期效果泛化成整个企业的普遍收益。付款节点最好与实际验收指标绑定，而非只看供应商是否部署了指定按钮。
第六步：采购时就约定数据迁出与停用
企业应提前询问：停用后能否导出数据、日志和工作流配置，知识库如何清除，供应商是否支持过渡期以及可能需要哪些额外费用。若业务逻辑全部锁在无法解释的私有组件中，第二年的迁移成本可能高于第一年的采购费用。合同应写明数据权属、处理边界、终止协助和安全事故处理程序。
将项目最终交付定义为任务验收报告、权限与隐私审计、费用计算、运行监控、故障应急、回滚计划及退出条款。AI商业采购要购买的是可稳定交付的业务结果和可管理的风险，而不是一段令人惊艳却不能复现的演示。
Sources
发布者：Tuike BI，转转请注明出处：https://www.tuikebi.com/archives/7104
