[!info] related notes

• 知识总览：Agent Engineering MOC
• 应用系统：AI Agent Application MOC
• Python 基础：Python MOC、Python 大模型应用开发
• 面试验证：AI Agent 面试题库

学习 AI Agent MOC

知识总览

filters:
  and:
    - 'file.ext == "md"'
    - 'file.inFolder("z")'
    - 'this.file.links.contains(file)'
    - 'file.path != this.file.path'
formulas:
  knowledge: 'file.asLink(title)'
properties:
  formula.knowledge:
    displayName: 知识
  note.description:
    displayName: Description
  note.mastery:
    displayName: Mastery
views:
  - type: table
    name: 知识总览
    order:
      - formula.knowledge
      - note.description
      - note.mastery
    columnSize:
      formula.knowledge: 280
      note.description: 760
      note.mastery: 56

[!abstract] 路线原则 先手写最小闭环，理解模型、工具、状态和失败语义；再使用 LangGraph 等框架。每阶段必须有可运行产物、故障实验和口述验收，而不是只看教程。

为什么不从 Multi-Agent 开始

Single LLM Call
→ Structured Output
→ Tool Loop
→ RAG / Context
→ Stateful Runtime
→ Interrupt / Resume
→ Reliability / Eval
→ Multi-Agent
→ Production Integration

上层复杂度只有在下层边界稳定后才有意义。

Stage 0：LLM Call 与 Structured Output

产物：调用一个模型，返回经过 schema 校验的结构化结果。

理解：message role、token/context、sampling、finish reason、provider error、validation。

验收：故意让模型输出非法 JSON，能识别、修复或拒绝，而不是静默使用。

Stage 1：手写 Tool Calling Loop

产物：Python Tool Calling Agent。

model → tool proposal → validate → execute → observation → model

验收：能限制最大步数、处理未知工具、非法参数、工具超时和重复副作用。

Stage 2：RAG 与 Context Engineering

产物：Python RAG Agent。

学习：chunk、metadata、embedding、hybrid search、rerank、citation、context budget。

验收：能区分“没检到证据”和“模型无依据编造”，并给出拒答或追问。

Stage 3：Stateful Agent Runtime

产物：具有 Thread / Run / Step / State / Event / Trace 的最小 Runtime。

验收：进程中途退出后，能根据持久状态判断已完成步骤、待执行步骤和副作用边界。

Stage 4：Interrupt / Resume 与 HITL

产物：危险工具执行前真正暂停，前端/CLI 提交审批后恢复。

验收：重复批准不会重复执行；错误用户不能批准；旧版本 approval 不能作用于新状态。

Stage 5：Reliability 与 Recovery

加入：timeout、cancellation、retry budget、backoff、idempotency、fallback、concurrency limit、backpressure。

验收：模拟 429、网络超时、工具成功但响应丢失、Checkpoint 写失败，系统行为可解释且可恢复。

Stage 6：Eval 与 Observability

产物：小型 dataset + deterministic grader + 必要的 LLM Judge + trace viewer/report。

验收：每次修改模型、prompt、retriever 或 tool schema 后能跑回归，并单独查看 critical slice。

Stage 7：Multi-Agent

只有出现以下真实需求再拆：

• 上下文必须隔离；
• 专业能力和工具权限明显不同；
• 子任务可并行；
• handoff / supervisor 的收益可测量。

验收：能证明多 Agent 比单 Agent + Tools 更可靠或更高效。

Stage 8：服务化与生产集成

• FastAPI / Go Backend / React Client；
• SSE / WebSocket 事件契约；
• Auth / Tenant / Permission；
• PostgreSQL / Redis / Queue；
• Docker / CI/CD / Health / Metrics / Rollback。

入口：AI Agent Application MOC。

学习闭环

每个阶段都完成：

读原理
→ 手写最小实现
→ 注入失败
→ 观察 trace
→ 修复并加测试/eval
→ 用 30 秒和 2 分钟各讲一次
→ 映射到真实项目

Related notes

• Agent Engineering MOC
• Agent Runtime MOC
• Agent Evals MOC