LLM Streaming MOC
LLM Streaming 协议设计的完整知识地图——从基础概念到工业级架构,覆盖三种基础协议、五层架构、三种高级模式。
#type / moc
#status / evergreen
#tech / ai
#tech / architecture
[!info] related notes
- 上层 MOC: AI MOC
- 关系笔记: LLM Streaming 协议设计(项目实践版)
LLM Streaming MOC
LLM 流式输出协议设计的完整知识地图。从”LLM 输出到底在流什么”到”工业级事件协议怎么设计”,系统性覆盖。
推荐阅读顺序
- LLM 输出四层模型 — 先理解 LLM 输出的四层抽象
- Delta Stream — 最主流的协议模式
- Append Event Stream — Agent 场景的协议模式
- Full State Stream — 编辑器场景的协议模式
- Delta Stream vs Append Stream — 核心区别对比
- Chunk Aggregator — 决定流式体验的关键层
- Semantic Router — 输出分流层
- LLM Streaming 分层架构 — 五层架构全景
- Multi-channel Stream — 高级:多通道流
- Structured Streaming — 高级:结构化事件协议
- Event Sourcing AI — 高级:事件溯源
- Streaming 高级协议模式 — 三种高级模式的组合
核心概念分组
基础:三种流式协议
| 协议 | 一句话 | 适用场景 |
|---|---|---|
| Delta Stream | 只传同一文本的增量 | ChatGPT、Claude |
| Append Event Stream | 追加新的结构化事件 | Agent、workflow |
| Full State Stream | 每次传完整状态 | AI 编辑器 |
理解:输出模型与架构
- LLM 输出四层模型 — raw tokens → text deltas → semantic chunks → UI state
- LLM Streaming 分层架构 — 五层架构全景
- Chunk Aggregator — token → chunk 的聚合策略
- Semantic Router — text / tool / thinking / citation 分流
进阶:高级协议模式
- Multi-channel Stream — 多通道输出分流
- Structured Streaming — 稳定可扩展的事件封装
- Event Sourcing AI — 事件溯源与状态重建
- Streaming 高级协议模式 — 三种模式的层级与组合
实践:项目应用
- LLM Streaming 协议设计(项目实践版) — BodySense 项目的推荐方案
关系笔记入口
- Delta Stream vs Append Stream — 两种主流协议的核心区别
- Streaming 高级协议模式 — 高级模式的层级关系
操作指南 / 资源入口
- 前端 SSE 消费 — 前端如何消费 SSE 流
- SSE 流式暂停与中断 — 暂停/取消的状态同步
- Function Calling 流式累积 — tool_call 的增量拼接
- 多服务 SSE 管道 — 端到端 SSE 管道设计
- SSE 流式 Markdown 渲染 — 流式场景的 Markdown 渲染
相关 MOC
- AI MOC — AI 知识总入口
- HTTP 与前端网络 MOC — SSE / WebSocket / Polling 基础
- 前端工程化 MOC — 前端流式处理模式