LLM

大语言模型是在大规模序列数据上训练、根据上下文对 token 序列建立概率模型的神经网络；现代 LLM 通常基于 Transformer，并可通过后训练提升指令遵循、推理和安全行为。

#ai #llm #concept #growing

[!info] related notes

所属 MOC: AI MOC

架构: Transformer

Context: Context Window Management, 上下文窗口预算

增强能力: Augmented LLM

上层系统: Agent

LLM

一句话定义

LLM（Large Language Model）是一类对 token 序列建立概率分布、并根据当前上下文预测后续 token 的大规模神经网络。

“预测下一个 token”是训练/生成机制的核心描述，但不意味着模型只能做简单补全。

复杂能力可以从规模、训练数据、架构、后训练与推理过程共同涌现出来。

训练与推理

Pretraining

模型在大规模数据上学习语言、代码、事实模式和一般结构。

Post-training

现代模型还会通过监督微调、偏好优化、强化学习或其他后训练方法改善：

指令遵循；
对话行为；
推理策略；
工具使用格式；
安全边界。

Inference

运行时模型接收一段 context，逐步生成后续 token。

每一步输出都依赖当前可见上下文，而不是从一个无限持久记忆中直接读取。

Context Window

模型一次调用能直接处理的信息受 context window 限制。

Context 可能包括：

system/developer instructions；
user input；
conversation history；
retrieved documents；
tool results；
structured schemas。

模型默认没有跨独立调用自动保存全部历史的能力；长期记忆通常由外部系统实现。

LLM 能不能“推理”

不能用“LLM 不能逻辑推理”作为绝对结论。

现代 LLM 可以完成许多多步推理、规划、数学、代码和归纳任务，但：

不保证每次正确；
可能被表面模式误导；
复杂任务对模型、上下文和计算预算敏感；
输出仍需要可验证证据。

所以更稳定的表述是：

LLM 具有一定推理能力，但推理可靠性不是逻辑证明器级别的保证。

Knowledge 与 Retrieval

预训练参数里包含大量统计知识，但参数不是一个可精确查询的数据库。

需要：

最新事实；
私有文档；
精确来源；
大型代码库现场；

时，通常要通过 retrieval 把证据注入 context。

见 Augmented LLM。

Tool Use 不是裸模型本体

LLM 本身通常只负责输入 → 输出 token/structured output。

浏览器、shell、数据库、文件系统等真实动作来自外部 runtime/tool layer。

典型链路：

LLM 产生 tool intent → host 验证/执行 → tool result 回到 context → LLM 继续。

所以：

模型“会用浏览器”通常指模型 + agent/runtime/tool system，而不是权重文件自己打开浏览器。

LLM 不等于 Agent

Agent 通常还需要：

goal/task state；
execution loop；
tools；
stop condition；
retry/recovery；
permissions/approval；
durable state/trace。

LLM 是 Agent 的核心推理/生成构件之一，但不是完整 Agent system。

主要失败模式

Hallucination

模型可能生成流畅但错误或不存在的事实。

Context error

关键事实没进入 context、被截断或被冲突指令覆盖。

Tool/runtime error

模型判断可能正确，但工具输入、执行或返回值出错。

Uncertainty calibration

模型表达自信程度不总与事实正确率一致。

因此高风险任务需要外部验证。

学习检查

“next-token prediction”为什么不等于“只能做自动补全”？
Pretraining、post-training、inference 分别是什么阶段？
Context window 与长期记忆有什么区别？
为什么不能再写“LLM 不能逻辑推理”这种绝对结论？
参数知识与 retrieval evidence 有什么差异？
为什么浏览器/代码执行通常属于 runtime/tool layer，而不是裸 LLM？
LLM 与 Agent 的系统边界是什么？
给一个代码 Agent，把 LLM、context、retrieval、tools、runtime state 分别映射出来。