Hugging Face Transformers
Hugging Face 的模型与推理训练工具库，提供统一的模型加载、推理、训练和微调接口。
#tech / ai
#type / resource
#status / growing
#resource / transformers
#media / tool
[!info] related notes
- 所属 MOC: AI MOC
- 前置概念: transformer
- 应用场景: smart-summary-system
Hugging Face Transformers
它是什么
Transformers 是 Hugging Face 提供的模型工具库，帮助开发者用统一接口加载、推理、训练和微调各类 Transformer 模型。
核心能力
AutoModel/AutoTokenizer自动适配模型和分词器pipeline快速完成常见推理任务Trainer支持高层训练与评估流程- 与
Accelerate、PEFT、datasets等生态配合完成训练和部署
它适合什么场景
- 快速验证 NLP 或多模态任务
- 加载开源模型做推理服务
- 做小规模微调或参数高效微调
- 和 RAG、量化、LoRA 等实践组合使用
使用时最常遇到的问题
- 模型和 tokenizer 不匹配
- 显存不足或 batch 过大
- 长输入超出模型上下文长度
- 任务效果只看能不能跑，没有做真实评估
和 Transformer 的关系
transformer讲的是模型架构概念transformers讲的是围绕这类模型的工程工具库
最短记忆方式
Transformer 是原理，Transformers 是把这些模型真正用起来的工程工具库。