[!info] related notes

• 上层入口：Agent Engineering MOC、Testing MOC
• 运行时：Agent Runtime MOC
• 可观测性：Observability Engineering MOC
• 项目闭环：BodySense Diagnosis 模型治理与 Eval 闭环

Agent Evals MOC

知识总览

filters:
  and:
    - 'file.ext == "md"'
    - 'file.inFolder("z")'
    - 'this.file.links.contains(file)'
    - 'file.path != this.file.path'
formulas:
  knowledge: 'file.asLink(title)'
properties:
  formula.knowledge:
    displayName: 知识
  note.description:
    displayName: Description
  note.mastery:
    displayName: Mastery
views:
  - type: table
    name: 知识总览
    order:
      - formula.knowledge
      - note.description
      - note.mastery
    columnSize:
      formula.knowledge: 280
      note.description: 760
      note.mastery: 56

[!abstract] 核心认识 Agent Eval 不只判断最终文字“像不像正确答案”，还要验证输入身份、证据来源、工具轨迹、权限、预算、停止条件、最终副作用和交付结果是否符合契约。

一张图看评测对象

Input / Identity
→ Context / Evidence
→ Model Decision
→ Tool / Action Trajectory
→ Runtime State / Safety
→ Final Output / Business Effect
→ Persistence / Delivery

任何一层出现首个 contract violation，都可能让最终答案“看似合理但执行无效”。

推荐阅读顺序

1. Agent 测试与评估：整体方法。
2. Agent 评估工程化：dataset、runner、grader 与报告。
3. Eval Dataset、Grouped Split。
4. LLM-as-a-Judge：适用范围、偏差与校准。
5. Agent 配置组合：模型、prompt、tool、retriever、policy 必须作为整体评测。
6. Agent Behavioral Contract：明确可观察行为标准。
7. Critical Slice Gate、Non-inferiority Gate。
8. Evidence Admissibility、Safety Envelope、Decision Authority。
9. Decision Trace、Replay Modes、Failure Attribution。
10. 发布与运行期验证。

Evaluator 分工

Evaluator	适合判断	不适合单独判断
Deterministic Check	schema、权限、引用存在、禁止动作、数值阈值	开放式语义质量
Reference / Exact Match	已有金标的稳定任务	多个合理答案
Code / Tool Execution	代码、查询、工具结果是否真实可执行	主观表达质量
LLM Judge	相关性、完整性、风格、复杂语义 rubric	未校准的高风险最终授权
Human Review	高风险、模糊、政策与产品判断	大规模每次在线阻塞

优先用确定性检查保护硬约束，再用 Judge 处理不可穷举的语义质量。

Dataset 结构

一个可维护 Dataset 至少包含：

case id
input + identity / tenant
initial state
allowed / forbidden actions
expected evidence or source constraints
expected output properties
critical slice labels
grader configuration
version / provenance

不要随机拆分同一用户、同一会话或同一来源高度相关的样本，避免数据泄漏。

评测生命周期

Offline regression
→ Historical / Counterfactual Replay
→ Shadow
→ Canary
→ Promotion Gate
→ Production Monitoring
→ Failure Attribution
→ New regression case

线上坏例应回流为可复现的 dataset case，而不是只修一次 prompt。

必须单独看 Critical Slice

平均分会掩盖危险失败。根据业务建立切片，例如：

• Red Flag / Safety；
• 权限与租户隔离；
• 无证据时是否 abstain；
• Tool side effect；
• 多语言、长上下文、图片/OCR；
• Provider fallback；
• Interrupt / Resume 与重复执行。

高风险切片通常需要硬门槛，而不是被总体平均抵消。

Eval 与 Observability

• Observability 记录真实运行发生了什么。
• Eval 根据 rubric 和 contract 判断该行为是否合格。
• Trace 是评测材料，不是评测结论。

掌握标准

• 能区分 deterministic grader、LLM Judge 和 human review。
• 能说明为什么配置组合而不是单个模型才是上线对象。
• 能设计 critical slices 和 hard safety gate。
• 能从 trace 找到第一个 contract violation。
• 能把线上失败转化为 replay case 和回归测试。

Related notes

• Agent Engineering MOC
• Agent Runtime MOC
• Observability Engineering MOC