[!info] related notes

• 所属 MOC: agent-evals-moc、testing-moc
• 前置概念: agent-configuration-bundle
• 并列概念:
• 易混淆概念:
• 关系笔记: bodysense-diagnosis-model-governance-eval-loop

Agent Configuration 的 Interaction Effect

一句话定义

Agent Configuration 的 Interaction Effect 指：某个组件的效果依赖另一个组件取值，组合表现不能由各组件单独表现简单相加预测。

为什么 bundle 回归不能直接归因

如果一次同时发生：

Model A → Model B
Prompt v7 → Prompt v8

然后生产 rejection 从 1% 上升到 5%，目前只能确定：

新 configuration bundle 有回归。

不能可靠判断是 Model B、Prompt v8，还是二者组合造成。

最小 2×2 实验

              Prompt
             v7     v8
Model A     A+v7   A+v8
Model B     B+v7   B+v8

这允许分别观察：

• Model main effect；
• Prompt main effect；
• Model × Prompt interaction。

例如：

A+v7 = 1.0%
A+v8 = 1.1%
B+v7 = 1.2%
B+v8 = 5.8%

最显眼的问题是 Model B × Prompt v8 的 interaction，而不是“B 一定坏”或“v8 一定坏”。

实验控制

为了让归因更可信，应尽量保持：

• 同一批 paired cases；
• 其他 configuration 字段固定；
• 每个 variant 有稳定 identity；
• 必要时随机或交错运行顺序；
• Judge blind to variant identity；
• 对随机模型使用足够 repeat runs。

Offline / Shadow / Canary 的不同用途

Offline / Shadow
→ 更适合拆变量、做因果诊断和 variant comparison

Canary
→ 更适合验证最终 Champion vs Challenger bundle 的真实生产表现

复杂 factorial debugging 不应直接在真实用户路径上随意展开。

与 Capability Policy 的关系

某个组合失败，不足以证明某项 capability 应从 PREFERRED 升级为 REQUIRED。先识别 interaction、具体 model failure 或 prompt failure，再决定是否真的存在 capability-class 级证据。

常见误解

• 组件单测都通过，组合一定通过：Agent 行为高度依赖组件交互。
• 新版本回归就回滚最后改的组件：若同时变更多项，归因并不成立。
• factorial experiment 只用于学术统计：对 Model × Prompt × Policy 这种配置系统，它是非常实用的工程诊断方法。