AI 模型断供演练
团队用脱敏真实任务演练模型断供，找出可替换的开放模型、质量缺口和切换成本。
依赖单一模型或云服务的产品团队，通常直到服务涨价、限流或突然不可用，才知道哪些流程根本切不走。团队先导入一批脱敏的真实任务、当前输出、验收规则和延迟要求，例如客服摘要必须保留订单号，代码审查必须发现指定风险，文档提取不能漏掉表格字段。
产品把这些任务分别放到候选开放权重模型、不同量化配置和现有模型上重放。结果不做一张笼统排行榜，而是逐项展示：哪些任务可以直接替换，哪些只需调整提示词，哪些质量仍然不足。每项失败都保留输入、输出和未通过的验收条件，工程师可以复查问题究竟出在事实、格式、速度还是工具调用。
接着，团队可启动一次断供演练：暂时禁止当前模型或云服务参与，再让真实工作流跑一遍。页面会标出核心流程在哪一步中断，哪些任务可自动降级，哪些必须转给人工。团队还能为每类任务指定备用模型、允许的质量下限和切换后的额外成本。
第一版只在脱敏历史任务与隔离环境中运行，不会替团队直接迁移生产流量。它交付的是一份按任务划分的替换路径，让“我们有备用模型”变成经过验收、能在断供当天执行的方案。
为什么是现在
7月23日，限制中国开放权重 AI 访问的政策争论进入创业公司公开游说议程。S2 截至7月24日观察时，相关 Hacker News 帖为693 points、626 comments、rank 2；依赖单一模型的团队更容易被追问备用方案是否真的跑得通。S1
目标用户
核心用户是已经把客服、代码审查或文档处理接入单一模型的产品团队。触发时刻通常是供应商涨价、限流、区域限制或政策风险进入排期讨论。工程负责人此时需要回答哪些任务能切换，而不是比较抽象榜单。安全与采购人员还要看到脱敏边界、额外成本和人工接管位置，才能批准备用方案。
最小切入点
首版可把 Promptfoo 作为评测执行层。它已有多模型 provider、通用 HTTP 接口、自定义脚本和断言机制，可承接云模型与本地端点。S3 产品自身负责导入脱敏任务、验收规则和延迟上限，再把它们编译成测试用例。结果层保留每次输入、原始输出、断言失败和耗时。断供演练先通过路由开关禁用主模型，只重放隔离环境中的固定流程。暂不自动改提示词或切生产流量，优先交付任务级替换结论、阻断步骤和人工接管点。
以小博大
先发布一份可复用的“模型断供演练清单”，面向使用开放权重模型的工程负责人。再提供本地命令行工具，把现有 Promptfoo 配置转成任务级替换报告，借其开发者社群获得首批试用者。可围绕客服摘要、代码审查和文档提取制作脱敏示例仓库。政策或服务变动时，快速更新对应模型的演练模板，并邀请团队提交匿名失败案例。
竞品与缝隙
怎么赚钱
按团队项目收取月度订阅费，套餐按可接入的模型端点、任务集规模和演练频率分级。隔离部署、审计导出和专项迁移支持单独收费。
反方视角
最大风险是历史任务无法代表生产中的长尾输入，演练通过后仍可能在真实流量中失效。验收规则若过于机械，会把格式合格误当成业务可用；若大量依赖模型评分，又会引入不稳定判断。工具调用、检索和多步状态让重放环境更难复现，接入成本会迅速超过一次模型横评。脱敏还可能删掉决定结果的上下文，导致结论失真。若团队没有明确的质量下限和流程负责人，报告最终只会停在风险展示，无法成为切换预案。