CrashAI学习路径总览
CrashAI课程设计为从0到1的完整学习路径。3个阶段，25个课程，从Python基础到前沿探索。
阶段A：基础（0-6课）
00 高数唤醒：导数、偏导、梯度、链式法则、矩阵、概率 01 Python速成：语法、NumPy、函数、类 02 优化器：BGD/SGD/Momentum/AdaGrad/RMSprop/Adam 03 激活函数：Sigmoid/ReLU/LeakyReLU/GELU/Swish/Softmax 04 损失函数：MSE/MAE/CE/BCE/Focal/Huber 05 训练技巧：Dropout/L2/BatchNorm/梯度裁剪/Warmup 06 数据预处理：归一化/标准化/编码/增强/清洗
阶段B：核心（7-16课）
07 Transformer：Self-Attention/Multi-Head/Position Encoding 08 Pandas：DataFrame/Series/清洗/聚合/分组/可视化 09 Scikit-learn：分类/回归/GBDT/SHAP 10 RAG基础：LangChain/Chroma/VectorDB/检索策略 11 GPT系列：GPT-1→2→3→4/参数扩展/数据增长 12 LLM训练：预训练/数据清洗/Tokenization/分布式训练 13 Tokenizer：BPE/WordPiece/Byte-level 14 指令微调与RLHF：SFT/PPO/DPO/奖励模型 15 LLM评估：PPL/BLEU/ROUGE/HumanEval/MMLU 16 AIGC：扩散模型/Stable Diffusion/LoRA/多模态
阶段C：应用（17-24课）
17 Agent：ReAct/Tool/Planning/Memory 18 多Agent协作：Multi-Agent/通信/工作流编排 19 RAG高级：混合检索/重排序/查询分解 20 多模态处理：PDF/Word/Excel/图片/音频/视频 21 工程整合：API设计/缓存/监控/日志/测试/部署 22 MLOps：模型管理/CI-CD/监控/A-B测试 23 前沿探索：MoE/长上下文/世界模型/具身智能 24 资源汇总：学习路径/论文/工具/社区（本课）
推荐论文（按学习顺序）
基础论文：
| 论文 | 年份 | 核心贡献 |
|---|---|---|
| Adam: A Method for Stochastic Optimization | 2014 | Adam优化器，最广泛使用的优化算法 |
| Batch Normalization | 2015 | BN层，加速训练 |
| Dropout: A Simple Way to Prevent Overfitting | 2014 | Dropout正则化 |
核心论文：
| 论文 | 年份 | 核心贡献 |
|---|---|---|
| Attention Is All You Need (Transformer) | 2017 | Self-Attention，现代AI基石 |
| BERT: Pre-training of Deep Bidirectional Transformers | 2018 | 双向预训练，NLP里程碑 |
| GPT-1: Improving Language Understanding by Generative Pre-Training | 2018 | 生成式预训练 |
| GPT-2: Language Models are Unsupervised Multitask Learners | 2019 | 零样本学习，WebText |
| GPT-3: Language Models are Few-Shot Learners | 2020 | 1750亿参数，上下文学习 |
| Training language models to follow instructions with human feedback (InstructGPT) | 2022 | RLHF，SFT，PPO |
应用与前沿论文：
| 论文 | 年份 | 核心贡献 |
|---|---|---|
| LoRA: Low-Rank Adaptation of Large Language Models | 2021 | 参数高效微调 |
| Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks | 2020 | RAG基础 |
| ReAct: Synergizing Reasoning and Acting in Language Models | 2022 | Agent推理-行动 |
| DPO: Direct Preference Optimization | 2023 | 无需奖励模型的RLHF |
| Mixtral of Experts | 2023 | 开源MoE模型 |
| World Models | 2018 | Ha, Schmidhuber，世界模型 |
推荐工具与框架
深度学习框架：
| 工具 | 用途 | 特点 |
|---|---|---|
| PyTorch | 深度学习 | 动态图，易调试，学术界首选 |
| TensorFlow | 深度学习 | 静态图，生产部署强 |
| JAX | 深度学习 | Google出品，函数式，自动并行 |
| HuggingFace Transformers | 预训练模型 | 最大的开源模型库 |
LLM应用框架：
| 工具 | 用途 | 特点 |
|---|---|---|
| LangChain | LLM应用 | 模块化，Chain抽象，工具集成 |
| LlamaIndex | RAG | 数据索引，检索优化 |
| AutoGPT | Agent | 自主Agent，目标驱动 |
| MetaGPT | 多Agent | 多Agent软件开发 |
模型训练与部署：
| 工具 | 用途 | 特点 |
|---|---|---|
| DeepSpeed | 分布式训练 | ZeRO优化，微软出品 |
| vLLM | 推理加速 | PagedAttention，高吞吐 |
| Text Generation Inference | 推理服务 | HuggingFace出品，易部署 |
| MLflow | 实验管理 | 实验追踪，模型注册 |
数据与评估：
| 工具 | 用途 | 特点 |
|---|---|---|
| Weights & Biases | 实验可视化 | beautiful charts，团队协作 |
| TensorBoard | 训练可视化 | TensorFlow配套，轻量 |
| EleutherAI LM Eval | 模型评估 | 标准化评估框架 |
| Cleanlab | 数据清洗 | 自动检测错误标签 |
学习社区与资源
推荐社区：
- HuggingFace (huggingface.co)：最大的开源AI社区。模型、数据集、Spaces（应用展示）。
- Papers With Code (paperswithcode.com)：论文+代码实现，追踪SOTA。
- Reddit r/MachineLearning：最新讨论，研究者交流。
- GitHub Awesome-LLM：LLM资源汇总，持续更新。
- 中文社区：知乎AI话题、机器之心、PaperWeekly。
推荐课程（补充）：
- Stanford CS224N：NLP with Deep Learning，Transformer讲解最清晰。
- Stanford CS231N：Convolutional Neural Networks for Visual Recognition，计算机视觉基础。
- Fast.ai：Practical Deep Learning for Coders，实用导向。
- 3Blue1Brown：神经网络/线性代数/微积分的可视化解释（YouTube）。
- 李沐《动手学深度学习》：免费中文教材+视频，动手实践。
CrashAI下一步：
1. 完成所有25课的练习（至少做50%） 2. 选择一个方向深入： - 研究：读论文，复现模型，投稿会议 - 工程：做项目，开源贡献，找工作 - 产品：做应用，创业，解决实际问题 3. 加入社区：参与开源项目，回答问题，写博客 4. 持续学习：AI发展极快，每周都有新论文
练习：资源汇总
Q1：根据CrashAI的学习路径，如果你已经学完阶段A和B，接下来应该优先学什么？为什么？
Q2：PyTorch和TensorFlow各有什么特点？如果你要做研究，选哪个？如果你要做生产部署，选哪个？
Q3：为什么HuggingFace Transformers是LLM入门最重要的工具？它解决了什么问题？
Q4：找到5篇核心论文，按年份排序。你能看出LLM发展的什么趋势？
Q5：设计一个你自己的AI学习计划。你想成为研究员、工程师还是产品经理？需要侧重哪些课程？
查看答案
A1：接下来应该优先学阶段C的应用课程（17-22课）。因为阶段A和B建立了理论基础，阶段C教你如何把理论应用到实际问题：Agent、RAG、多模态、工程部署、MLOps。这些是企业最需要的实战技能。
A2：PyTorch：动态图，调试方便，API直观，学术界首选。TensorFlow：静态图，生产部署优化好，TFX生态完整。研究选PyTorch（迭代快，社区活跃）。生产部署选TensorFlow（TFX、TensorRT优化、企业支持）。
A3：HuggingFace Transformers提供了统一的模型加载、使用、微调接口。它解决了：1.模型下载和格式统一（不用每个模型写不同代码）；2.预训练权重获取（下载即用）；3.Tokenizer配套（模型和Tokenizer绑定）；4.微调框架（Trainer）；5.社区生态（模型共享、数据集、Spaces）。
A4：核心论文排序：2017 Transformer → 2018 BERT/GPT-1 → 2019 GPT-2 → 2020 GPT-3/RAG → 2021 LoRA → 2022 InstructGPT/RLHF/ReAct → 2023 DPO/MoE。趋势：1.模型越来越大（1.17亿→1750亿）；2.从预训练到对齐（SFT/RLHF）；3.从单模态到多模态；4.从通用到专用（RAG/Agent）；5.从训练到高效微调（LoRA/MoE）。
A5：研究员：侧重阶段B（Transformer、LLM训练、RLHF、评估），多读论文，做实验。工程师：侧重阶段C（Agent、RAG、工程部署、MLOps），多做项目。产品经理：侧重17-20课（Agent、RAG、多模态），了解能力边界，设计产品。