[!info] related notes

• 上层 MOC: ai-moc
• 关系笔记: javascript-vs-python-ai-libraries
• 相关 MOC: python-moc

Python 大模型应用开发 MOC

Python 是大模型应用开发的工程底座。本地图覆盖从模型接入到产品上线的完整技术栈。

这张地图覆盖什么

本 MOC 聚焦 Python 在大模型应用开发（而非模型训练）中的角色，包括：

• 模型 API 接入与服务化
• RAG（检索增强生成）
• Agent 与工具调用
• 文档解析与数据处理
• 评测与追踪
• 典型架构与学习路线

从这里开始

定位：Python 在大模型应用里做什么

Python 在大模型应用中不是”让模型更聪明”，而是把模型、数据、工具和业务流程拼成可上线系统。它的核心优势是生态拼图完整：一门语言同时覆盖 API 服务、参数校验、文档解析、数据清洗、RAG、Agent、本地模型和评测。

技术栈分层

前端/客户端 → FastAPI 接口层 → OpenAI SDK 调模型
                ↓
        文档解析 + Embeddings + 检索（RAG）
                ↓
        Tool Calling / Agent Workflow
                ↓
        评测 / 追踪 / 部署

核心笔记

1. 服务层：把模型包成产品接口

• fastapi - Python 高性能 API 框架（基于 type hints，自带交互式文档）
• [[pydantic]] - 数据验证与序列化（请求参数、响应数据、工具参数）

典型代码：

from fastapi import FastAPI
from pydantic import BaseModel
from openai import OpenAI

app = FastAPI()
client = OpenAI()

class ChatRequest(BaseModel):
    message: str

@app.post("/chat")
def chat(req: ChatRequest):
    resp = client.responses.create(
        model="YOUR_MODEL",
        input=req.message,
    )
    return {"answer": resp.output_text}

2. 模型接入层：调模型 API

• OpenAI Python SDK - 同步/异步客户端，支持 Responses API、Structured Outputs、function calling、embeddings
• Anthropic SDK - Claude 模型接入
• Python 调用 AI 接口 - 用 requests 直接调用 OpenRouter API（流式示例）

3. 数据与文档处理层（Python 的杀手锏）

• pandas - 结构化数据清洗与分析
• Unstructured - 非结构化文档 ingest 和 preprocessing（PDF/Word/HTML/图片）
• pdfplumber - PDF 文本、表格提取与可视化调试

为什么这一层关键：很多”AI 应用不好做”的难点，卡在数据处理，不在 prompt 本身。

4. RAG 层：带自己的数据

• LlamaIndex - 偏数据/RAG，完整的 query engine、agent 路线
• langchain - RAG、tool use、structured output 和 agent 开发框架
• Haystack - production-ready 的 agents、RAG 和 multimodal search

RAG 基本流程：文档解析 → 切块 → embedding → 向量索引/数据库 → 检索 → 重排/拼接上下文 → 模型回答

5. Agent 与工具调用层：让模型做事

• OpenAI Agents SDK - agent primitives、sessions、tracing、human-in-the-loop
• langgraph - 可控编排、durable execution、streaming
• crewai - 多 agent 团队协作与 Flow 编排

核心能力：模型通过 tool calling 访问训练数据之外的外部系统，执行查订单、发邮件、创建任务等操作。

6. 本地模型与训练层（可选，进阶）

• Hugging Face Transformers - 多模态模型的推理与训练
• PyTorch - GPU/CPU 深度学习张量库

适用场景：跑开源模型、本地推理、微调、蒸馏、批量离线处理。

7. 评测与追踪层

• OpenAI Evals - 程序化评估，可复现的质量测试
• OpenAI Agents SDK 内置 tracing - 可观测性
• langsmith - LangChain 生态常用的 tracing、debug、eval 和 monitoring 平台

为什么需要：成熟应用不是”看起来能跑”，而是”稳定、成本可控、出错能发现”。

学习路线

推荐按此顺序学习，而非一上来就冲 Agent：

1. Python 基础：函数、类、typing、虚拟环境、包管理、异步基础
2. FastAPI + Pydantic：先学会把 AI 能力做成可靠接口
3. OpenAI SDK：Responses、Structured Outputs、function calling、embeddings
4. 数据处理：pandas 处理表格和日志，Unstructured 处理 PDF/Word/HTML
5. RAG 框架：LlamaIndex（偏数据）或 langchain（偏通用框架）或 Haystack（偏组件式）
6. Agent 与评测：OpenAI Agents SDK、langgraph 或 crewai，再补 Evals
7. 本地模型认知：最后补 Transformers / PyTorch，不用一开始就深挖训练

典型架构

最小可用架构

前端 (React/Next.js)
    ↓
Python FastAPI 接口层
    ↓
OpenAI SDK 调模型
    ↓
返回结果给前端

知识库架构

前端
    ↓
FastAPI
    ↓
文档解析 (Unstructured) → 切块 → Embedding → 向量数据库
    ↓
检索 → 重排 → 拼接上下文 → 模型回答

Agent 架构

前端
    ↓
FastAPI
    ↓
Agent Workflow (LangGraph / CrewAI / OpenAI Agents SDK)
    ↓
Tool Calling → 调用内部 API / 数据库 / 外部服务
    ↓
返回结构化结果

前端转 Python 大模型开发的落地方式

对前端背景的开发者，最现实的路线：

• 前端继续做：React / Next.js / UI 交互
• Python 负责 AI 后端：FastAPI + Pydantic + OpenAI
• 有知识库时再加：Unstructured、embeddings、RAG 框架
• 需要多步工具调用时：langchain、langgraph 或 OpenAI Agents SDK
• 需要角色化协作时：crewai
• 真要碰本地模型时：Transformers / PyTorch

这样不是从零转行，而是在原有全栈能力上补出一条 Python AI backend 的主线。

关系与对比入口

• javascript-vs-python-ai-libraries - JavaScript vs Python AI 库对比（选型参考）
• ai-moc - AI 总入口 MOC
• python-moc - Python 语言知识地图
• fastapi - Python 高性能 Web API 框架

Related notes

• Python MOC