AI 先进技术学习笔记

更新时间：2026 年 3 月 24 日

学习目标

读完这份学习笔记后，你应该能够：

• 理解大语言模型（LLM）的核心原理（Transformer、RLHF、MoE）和代表模型
• 解释 AI Agent 的工作机制（ReAct、工具调用、MCP 协议、记忆系统）
• 掌握 RAG（检索增强生成）的完整技术栈（向量数据库、混合检索、Agentic RAG）
• 了解多模态 AI 的进展（图像理解、视频生成、语音交互、具身智能）
• 制定个性化的 AI 技术学习路线

目录

• 一、大语言模型（LLM）
• 二、AI Agent（智能体）
• 三、RAG（检索增强生成）
• 四、多模态 AI（Multimodal AI）
• 五、AI Safety 与对齐
• 六、学习路线建议
• 七、常见问题 FAQ
• 八、练习
• 九、进阶路径
• 十、资料口径与参考来源
• 自测题

一、大语言模型（LLM）

1.1 技术简介

大语言模型（LLM，Large Language Model）是基于 Transformer 架构的大规模预训练语言模型，通过在海量文本数据上进行自监督学习，学习语言的统计规律和知识表示。

2025-2026 年，LLM 的定位从"对话助手"扩展到推理和 Agent 底座，代表模型包括：

1.2 核心原理

1.3 应用场景

• 智能客服与对话系统
• 代码生成与调试（GitHub Copilot、Cursor）
• 内容创作（文案、报告、小说）
• 数据分析与商业智能
• 教育辅导与知识问答
• 多语言翻译与本地化

1.4 相关工具

模型服务：

• OpenAI API、Anthropic API、Google Vertex AI、Azure OpenAI
• VLLM、Ollama、Text Generation Inference（TGI）

本地部署：

• llama.cpp（量化推理）、Ollama、LM Studio、Jan

评测基准：

• MMLU、HellaSwag、GSM8K、MATH、BIG-Bench Hard、ChatArena
• 新基准：ARC-AGI（通用推理）、SWE-bench（软件工程）、GPQA（研究生水平问答）

微调框架：

• LLaMA-Factory、Axolotl、DeepSpeed-Chat、Unsloth（高效微调）

1.5 学习资源

• 论文：Attention Is All You Need（Transformer 原始论文）
• 论文：InstructGPT（RLHF 奠基之作）
• 论文：DeepSeek-R1（推理模型突破）
• 博客：The Illustrated Transformer（Jay Alammar）
• 课程：Coursera “Natural Language Processing with Deep Learning”
• 社区：Hugging Face Hub、r/MachineLearning、lmsys/chatbot-arena

二、AI Agent（智能体）

2.1 技术简介

AI Agent 是能够自主感知环境、规划行动、执行任务并根据反馈持续优化的 AI 系统。相比传统 LLM 的"问答模式"，Agent 具备：

• 长期记忆
• 工具调用
• 多步骤推理
• 自主决策能力

Claude 3.7、GPT-4o、DeepSeek R1 等模型的工具调用能力大幅提升，Agent 从研究走向落地。

2.2 核心原理

2.3 应用场景

• 自动化工作流（邮件处理、日程管理、CRM 操作）
• 软件开发自动化（Devin、Cursor、Windsurf）
• 科研助手（文献检索、实验设计、数据分析）
• 个人助手（浏览器自动化、个人知识管理）
• 金融分析（财报解读、投资研究、风险评估）
• 计算机使用（Claude Computer Use、OpenAI Operator）

2.4 相关工具

框架：

• LangChain、LangGraph、AutoGen、MetaGPT、crewai
• Flowise（低代码）、Dify

MCP 生态：

• MCP Servers（官方 MCP 服务器列表）
• 各种 MCP 工具集成（文件系统、数据库、API 等）

工具生态：

• SerpAPI（搜索）、Wolfram Alpha、Python REPL
• Browser Use、Playwright

记忆存储：

• Pinecone、Milvus、Chroma、FAISS、Mem0

评测：

• AgentBench、GAIA、ToolBench、WebArena、SWE-bench

2.5 学习资源

• 论文：ReAct: Synergizing Reasoning and Acting in Language Models
• 论文：AutoGPT+P: An Autonomous GPT-like Investigator
• 论文：MCP: Model Context Protocol（官方协议文档）
• 博客：Building Multi-Agent Systems with LangGraph（LangChain 官方）
• 开源：gpt-researcher、Manus、OpenManus
• 社区：Hugging Face Agents 文档、OpenAI Cookbook - Agent 案例

三、RAG（检索增强生成）

3.1 技术简介

RAG（Retrieval-Augmented Generation）通过从外部知识库中检索相关文档，结合 LLM 进行生成，解决大模型"幻觉"和"知识过时"问题。

2025-2026 年 RAG 向模块化、层次化方向演进，企业级落地支持：

• 多模态检索（文本、图像、表格、PDF）
• Agent 化演进（动态决策检索策略）
• 知识图谱增强（GraphRAG）

3.2 核心原理

检索阶段：

生成阶段：

• 将检索结果作为上下文注入 Prompt
• LLM 基于上下文生成答案

Advanced RAG：

Native RAG 与 Agentic RAG 的区别在于：后者让 Agent 动态决定是否检索、检索范围和深度。

3.3 应用场景

• 企业知识库问答（内部制度、产品文档、HR 政策）
• 医疗/法律等专业领域问答（RAG + 领域微调）
• 客服机器人（实时获取产品信息）
• 个人知识管理（Notion AI、Obsidian Copilot）
• 舆情分析与研究报告生成
• 代码库问答（RAG for Code）

3.4 相关工具

框架：

• LlamaIndex、LangChain RAG、Haystack、DSPy（RAG 编程框架）

向量数据库：

• Milvus、Pinecone、Qdrant、Weaviate、Chroma

Embedding 模型：

• BGE（BAAI）、M3E（海量统一 Embedding）、text-embedding-3（OpenAI）、Jina AI

重排序：

• Cohere Rerank、BGE-Reranker、FlagEmbedding

托管服务：

• Pinecone Serverless、Azure AI Search、AWS Kendra、Dify（低代码 RAG）

3.5 学习资源

• 论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
• 博客：The RAG Triad（Pinecone 官方博客）
• 博客：GraphRAG: From Chaos to Clarity(Microsoft Research)
• 教程：LlamaIndex Documentation、LangChain RAG Tutorials
• 实践：Azure OpenAI RAG Workshop、AWS AI Services Demo
• 社区：r/LangChain、LlamaIndex Discord

四、多模态 AI（Multimodal AI）

4.1 技术简介

多模态 AI 指能够同时理解和生成多种模态信息（文本、图像、音频、视频、3D）的 AI 系统。

2025-2026 年，多模态成为大模型竞争最激烈的方向之一：

4.2 核心原理

4.3 应用场景

• 视频会议摘要与实时翻译
• 医学影像分析（CT、MRI、X 光解读）
• 卫星图像与地理信息系统分析
• 自动驾驶感知系统
• 内容审核（文本+图像+视频联合判断）
• 教育（图文声并茂的交互式学习）
• 设计（UI 设计稿生成、创意辅助）
• 游戏与虚拟世界（3D 场景生成、物理交互）

4.4 相关工具

模型：

• GPT-4o、Gemini 2.0 Multimodal、Claude 3.7 Sonnet
• Qwen-VL2、InternVL3、LLaVA、Paligemma

图像生成：

• Midjourney v7、Stable Diffusion 3、FLUX、DALL-E 3、Adobe Firefly

视频生成：

• Sora 2.0（OpenAI）、Runway Gen-3 Alpha、Kling 2.0（快手）、Vidu 2.0（生数科技）、HailuoAI

语音：

• Whisper（STT）、CosyVoice（中文 TTS）、Fish Audio、ElevenLabs

开发框架：

• transformers（HF）、PyTorch Multimedia、LAVIS、LLaVA-Org

4.5 学习资源

• 论文：LLaVA: Large Language and Vision Assistant
• 论文：GPT-4V(ision) System Card（OpenAI 官方分析）
• 论文：Sora: Video Generation from Text
• 博客：Understanding Multimodal LLMs（HuggingFace）
• 课程：DeepLearning.AI “Multimodal Learning with GPT-4V”
• 社区：r/LocalLLaMA（多模态讨论）、Hugging Face Multimodal 集合

五、AI Safety 与对齐

5.1 技术简介

AI Safety（AI 安全）与 Alignment（对齐）研究如何确保 AI 系统行为符合人类意图和价值观。

2026 年，AI Safety 从学术议题进入工程实践，成为模型部署时的关键评估维度。

5.2 核心概念

5.3 实践方法

• Prompt Injection 防护：防止恶意指令注入
• 输出过滤：防止生成有害内容
• 模型规范：Anthropic Model Spec、Google Model Card
• 红队测试：模拟攻击测试模型安全性
• A/B 对比评测：多模型安全性能对比

5.4 学习资源

• 论文：Constitutional AI: Harmlessness from AI Feedback
• 论文：Learning to Summarize with Human Feedback（RLHF 奠基）
• 论文：Toy Models of Superposition（可解释性经典）
• 博客：Anthropic’s AI Safety（官方安全研究）
• 社区：Alignment Forum、Safety BM

六、学习路线建议

第一阶段｜基础

• 掌握 Python + 机器学习基础
• 理解 Transformer 架构原理
• 学会使用主流 API（OpenAI / Claude / Gemini / 本地模型）

第二阶段｜进阶

• 学习 LangChain / LlamaIndex 开发
• 掌握向量数据库与 Embedding 技术
• 搭建完整 RAG pipeline

第三阶段｜Agent 开发

• 学习 ReAct / LangGraph 等 Agent 框架
• 理解 MCP 协议
• 实践 Tool Calling 与多步推理
• 探索 Multi-Agent 协作系统

第四阶段｜多模态

• 理解 CLIP/视觉语言模型原理
• 实践图文/视频多模态应用开发
• 探索 Agentic AI 与具身智能

第五阶段｜AI Safety（可选）

• 学习 Constitutional AI / RLHF / DPO 原理
• 了解可解释性研究方法
• 关注 AI Safety 最新论文和实践

七、常见问题 FAQ

Q1：这篇文章适合完全没有AI基础的人吗？

不适合。本文假设读者已经有基本的编程能力和数学基础。如果你完全没有AI经验，建议先学习Python编程、线性代数、概率统计，再回头看本文。

Q2：我应该先学LLM、Agent，还是RAG？

推荐顺序：LLM 是基础，RAG 是 LLM 的重要应用，Agent 是进阶使用方式，多模态是扩展方向。

Q3：需要多少数学基础才能看懂Transformer原理？

需要线性代数（矩阵运算、向量空间）、概率统计（概率分布、期望）、优化理论（梯度下降）的基础。如果数学基础薄弱，可以先看Jay Alammar的可视化教程，再回头补数学。

Q4：本地部署LLM需要多少资源？

本地部署的资源需求因模型参数量而异：

• 7B参数模型：至少8GB RAM，推荐16GB
• 13B参数模型：至少16GB RAM，推荐32GB
• 70B参数模型：至少48GB RAM，推荐64GB+或量化推理

使用Ollama或llama.cpp可以大幅降低资源需求。

Q5：如何跟上AI技术的快速迭代？

1. 关注关键会议：NeurIPS、ICML、ICLR、ACL、CVPR
2. 订阅高质量Newsletter：The Batch（Andrew Ng）、Deep Learning Weekly
3. 加入社区：Hugging Face、Reddit r/MachineLearning、Discord服务器
4. 动手实践：每学一个新技术，立即用代码验证

八、练习

练习一：搭建本地 LLM 推理环境

1. 安装 Ollama 并下载一个开源模型（如 Llama 3.2 或 Qwen 2.5）
2. 用 Python 调用 Ollama API 完成一个简单的问答任务
3. 对比相同任务下本地模型和云端 API（如 GPT-4o）的响应质量差异
4. 记录：响应速度、答案准确性、推理成本

练习二：用 LlamaIndex 搭建个人知识库 RAG

1. 准备 5-10 篇技术文档（PDF 或 Markdown）
2. 用 LlamaIndex 建立向量索引
3. 设计一个或多组问答对，测试 RAG 系统的检索准确性
4. 尝试不同的 Chunking 策略（按句子、按段落、语义分块），对比检索效果
5. 记录：检索准确率、响应时间、Token 消耗

练习三：用 LangGraph 写一个多步推理 Agent

1. 设计一个需要多步推理的任务（如"分析某个 GitHub 仓库的代码结构并生成文档"）
2. 用 LangGraph 构建 ReAct 循环：Thought → Action → Observation
3. 集成至少一个工具（如 GitHub API 或文件系统工具）
4. 测试 Agent 的任务完成能力和错误恢复能力
5. 记录：任务完成率、平均步数、失败原因分析

九、进阶路径

深入理解 LLM 内部工作机制

• 阅读 Transformer 原始论文和后续改进论文（PaLM、Llama、DeepSeek）
• 学习 Mechanistic Interpretability，理解模型内部如何表示知识
• 实践模型微调（用 Unsloth 或 LLaMA-Factory 微调一个小型模型）

掌握 Agent 工程化部署

• 学习 LangGraph 的高级特性（人工介入、状态持久化、多智能体协作）
• 理解 MCP 协议的完整规范，尝试开发一个自定义 MCP Server
• 实践 Agent 的评估与监控（用 AgentBench 或自定义评估框架）

探索多模态与具身智能

• 动手实践 LLaVA 或 Qwen-VL，理解视觉语言模型的对齐方法
• 学习视频理解的基础模型（如 VideoMAE、TimeSformer）
• 关注具身智能的最新进展（RT-2、OpenVLA）

参与 AI Safety 社区

• 加入 Alignment Forum，跟踪最新的对齐研究
• 实践 Red Teaming，测试模型的安全边界
• 阅读 Anthropic 和 OpenAI 的 Safety 报告，理解工业界的安全实践

十、资料口径与参考来源

本文整理自官方文档、技术博客、学术论文和社区资源。关键判断的取径方式：

• 模型能力描述：来自官方博客和论文，如 GPT-4o 的推理能力来自 OpenAI 官方博客，DeepSeek R1 的 RLVR 技术来自 DeepSeek 团队发表的论文。
• 评测基准结果：来自各模型的官方技术报告或独立评测机构（如 ChatArena、Hugging Face Open LLM Leaderboard）。
• 工具推荐：基于社区采用率和 GitHub Stars，不构成商业推荐。
• 学习路线建议：基于作者个人的学习路径和社区反馈整理，不同背景的读者可能需要调整顺序。
• AI 技术发展趋势：基于 2026 年 3 月前的公开信息，AI 领域发展极快，部分判断可能在数月后过时。

主要参考来源涵盖了各章节已列出的论文和资源，包括但不限于 OpenAI、Anthropic、Google DeepMind、DeepSeek 的官方博客，Hugging Face、LangChain、LlamaIndex 的技术博客，以及各章节引用的学术论文。本文持续更新，欢迎通过 GitHub Issues 提交修正建议。

自测题

完成以下自测题，评估你对本文核心概念的理解：

问题 1: 能解释 Transformer 的 Self-Attention 机制和 Next Token Prediction 训练目标吗？

问题 2: 能说出 ReAct 循环（Thought → Action → Observation）和 MCP 协议的作用吗？

问题 3: 能列出 RAG 的完整流程（向量化 → 检索 → 重排序 → 生成）和常用工具吗？

问题 4: 能举例说明 2026 年图像理解、视频生成、语音交互的代表模型吗？

问题 5: 能根据自己的背景制定合理的 AI 技术学习顺序吗？

下一步：从一个小项目开始实践（如用 LlamaIndex 搭建个人知识库 RAG，或用 LangGraph 写一个多步推理 Agent），比单纯阅读更有效。