[!info] related notes

• 所属 MOC: AI MOC
• 相关概念: transformer, transformers
• 应用场景: smart-summary-system

PyTorch

它是什么

PyTorch 是常用的深度学习框架，核心能力包括张量计算、自动求导、模型定义、训练循环和分布式训练。

核心能力

• Tensor：统一数值计算对象
• Autograd：自动求导和反向传播
• nn.Module：定义网络结构
• Optimizer：更新模型参数
• DataLoader：批量加载和预处理数据

为什么它重要

• 研究和工程都广泛使用
• 调试体验相对友好
• 在大模型训练、微调和推理链路里生态成熟

常见使用场景

• 模型原型验证
• 训练和微调深度学习模型
• 和 Hugging Face、LoRA、量化、分布式训练配合使用

实战里最常注意的事

• 数据加载吞吐是否成为瓶颈
• 显存是否足够，是否需要 AMP、梯度累积或分布式
• 模型和训练脚本是否方便定位数值异常和 NaN
• 是否真的做了 profiler 和评估，而不是只让代码能跑

最短记忆方式

PyTorch 是把深度学习模型真正训练起来、调起来、跑起来的核心工程框架。

Related notes

• AI MOC
• Agent MOC
• Coding Agent MOC
• agent-memory