LLM Streaming MOC
LLM 流式数据模型、应用事件、聚合分流与状态恢复的阅读入口,区分教学架构和项目实践。
#moc
#evergreen
#ai
#architecture
[!info] related notes
- 上层 MOC: AI MOC
- 关系笔记: LLM Streaming 协议设计(项目实践版)
LLM Streaming MOC
知识总览
filters:
and:
- 'file.ext == "md"'
- 'file.inFolder("z")'
- 'this.file.links.contains(file)'
- 'file.path != this.file.path'
formulas:
knowledge: 'file.asLink(title)'
properties:
formula.knowledge:
displayName: 知识
note.description:
displayName: Description
note.mastery:
displayName: Mastery
views:
- type: table
name: 知识总览
order:
- formula.knowledge
- note.description
- note.mastery
columnSize:
formula.knowledge: 280
note.description: 760
note.mastery: 56
从数据语义读到应用契约与恢复机制;各篇的分层和事件名是教学模型,具体项目以实现契约为准。
推荐阅读顺序
- LLM 输出四层模型 — 先理解 LLM 输出的四层抽象
- Delta Stream — 文本增量消费模型
- Append Event Stream — 结构化事件与消息投影
- Full State Stream — 对象快照及版本边界
- Delta Stream vs Append Stream — 核心区别对比
- Chunk Aggregator — 平衡发送频率与显示延迟
- Semantic Router — 输出分流层
- LLM Streaming 分层架构 — 五层架构全景
- Multi-channel Stream — 高级:多通道流
- Structured Streaming — 高级:结构化事件协议
- Event Sourcing AI — 高级:事件溯源
- Streaming 高级协议模式 — 三种高级模式的组合
核心概念分组
基础:可组合的数据模型
| 模型 | 一句话 | 适用场景 |
|---|---|---|
| Delta Stream | 只传同一文本的增量 | 渐进文本生成 |
| Append Event Stream | 追加新的结构化事件 | Agent、workflow |
| Full State Stream | 每次传完整状态 | AI 编辑器 |
理解:输出模型与架构
- LLM 输出四层模型 — raw tokens → text deltas → semantic chunks → UI state
- LLM Streaming 分层架构 — 五层架构全景
- Chunk Aggregator — 文本增量的聚合策略
- Semantic Router — text / tool / thinking / citation 分流
进阶:高级协议模式
- Multi-channel Stream — 多通道输出分流
- Structured Streaming — 稳定可扩展的事件封装
- Event Sourcing AI — 事件溯源与状态重建
- Streaming 高级协议模式 — 三种模式的层级与组合
实践:项目应用
- LLM Streaming 协议设计(项目实践版) — BodySense 项目设计记录(实施状态需结合项目证据)
关系笔记入口
- Delta Stream vs Append Stream — 文本增量与事件追加的层次区别
- Streaming 高级协议模式 — 高级模式的层级关系
操作指南 / 资源入口
- 前端 SSE 消费 — 前端如何消费 SSE 流
- SSE 流式暂停与中断 — 暂停/取消的状态同步
- Function Calling 流式累积 — tool_call 的增量拼接
- 多服务 SSE 管道 — 端到端 SSE 管道设计
- SSE 流式 Markdown 渲染 — 流式场景的 Markdown 渲染
相关 MOC
- AI MOC — AI 知识总入口
- HTTP 与前端网络 MOC — SSE / WebSocket / Polling 基础
- 前端工程化 MOC — 前端流式处理模式