[!info] related notes

• 所属 MOC：Reliability Engineering MOC、AI Agent Application MOC
• 上游策略：Retry Policy、Circuit Breaker
• 质量评估：Agent Evals MOC

AI / Agent Fallback Strategy

[!abstract] 一句话定义 Fallback 是主依赖、模型或能力不可用时，切换到经过验证的备用路径，以保留最低可接受服务。它不是“随便换个 Provider”，而是一次显式的能力、质量、成本与风险降级决策。

Fallback 可以发生在哪一层

Provider Fallback

同一模型或兼容模型切换供应商，减少单 Provider 故障影响。

Model Fallback

高质量/高成本模型切到较小模型。必须确认：

• Context Window；
• Tool Calling / Structured Output；
• Multimodal；
• Reasoning；
• Safety Policy；
• Output Schema。

Capability Fallback

Vector Search failed
→ keyword search

OCR failed
→ ask user to enter text

Tool unavailable
→ provide read-only guidance

Product Fallback

无法完成完整 Agent Run 时，退回确定性 Workflow、缓存结果、人工队列或清晰失败，而不是继续生成未经授权的答案。

Capability Compatibility

备用路径至少满足当前任务的 Hard Contract：

required input modality
required context length
required output schema
required tools
required safety / data boundary
required latency and region

[!warning] “能返回文本”不代表兼容 一个不支持工具调用或图像的模型，即使 API 调用成功，也不能作为需要该能力任务的无条件替代品。

Fallback 决策矩阵

故障	可能策略
429 / Capacity	短暂 Retry、同能力 Provider Fallback
5xx / Network	Retry Budget、Circuit Breaker、备用 Provider
401 / 403	配置/权限故障，通常 Fail Closed
Model Quality Regression	Quality Gate、回滚 Champion，不只看 HTTP 健康
RAG No Evidence	Ask User / Abstain / 限定回答，不自由生成
Tool Permission Denied	不换工具绕过权限，返回拒绝或升级审批
Cost Budget Exceeded	降低非关键能力、排队或提示用户

Fallback 与 Retry 的顺序

error classification
→ small safe retry if useful
→ fallback if compatible and within budget
→ degrade / abstain / escalate

顺序受总延迟影响。交互请求可能只允许一次 Retry；后台任务可等待更久。Circuit Breaker 已打开时不应继续打主依赖。

主路径超时后的结果可能未知。若工具或工作流已产生副作用，切备用路径重跑仍可能重复执行；应先查询结果或使用覆盖整个逻辑操作的去重协议。不同 Provider 的 Idempotency Key 通常不共享，不能靠传同一个字符串实现跨服务去重。

流式响应已向用户交付部分内容时，备用模型从头生成不能直接续接旧文本；应按产品协议明确重启、替换或终止，同时保留已执行工具的状态。

Fallback 必须显式可见

至少记录：

• 原始目标模型 / Provider / Tool；
• 失败原因；
• 实际 Fallback 路径；
• 能力差异；
• Token、Cost、Latency；
• Output Quality / Safety Result。

需要时向用户说明“当前使用了受限能力”，避免把降级结果伪装成完整结果。

Fallback 也需要 Eval

每条备用链单独验证：

• 结构化输出通过率；
• Tool Call 正确性；
• 关键 Slice 安全指标；
• RAG Faithfulness；
• 语言 / 多模态能力；
• Latency / Cost；
• 与主路径的 Non-inferiority 或最低门槛。

只测主模型、从不测备用模型，等于没有真正的 Fallback。

常见反模式

• Fallback 链过长，端到端延迟失控；
• 捕获所有 Exception 后静默换模型；
• 用低能力模型处理高风险任务；
• RAG 失败后取消 Grounding 却不标记；
• Permission Denied 时换一个权限更大的工具；
• 每个 Provider 都重复完整 Retry，形成流量放大；
• 没有记录最终使用的路径。

设计检查表

• 每个任务定义 Required Capabilities。
• Fallback 候选经过兼容性和质量验证。
• Retry、Breaker、Fallback 和 Deadline 顺序明确。
• 权限与安全边界不能因降级而放宽。
• 降级对用户和观测系统可见。
• 所有路径都有 Eval、Trace 和成本指标。
• 最终无安全路径时选择 Abstain / Escalate，而不是硬答。

Related notes

• Retry Policy
• Agent Evals MOC
• Model Gateway
• Agent 的 Fallback、Abstain 与 Escalate：比较决策权限层面的退路。