Awesome AI Roadmap

覆盖 LLM、多模态、Tools、Agent、RAG、AI 框架、LLMOps、安全治理与 FDE 的中文 AI 工程知识图谱。

LLM7 个小节 多模态 AI6 个小节 Tools6 个小节 Agent7 个小节 RAG7 个小节 框架与编排7 个小节 AI Engineering7 个小节 AI 安全与治理6 个小节 FDE2 个小节

文档主题索引

本仓库按「抽象层次」而非「产品清单」组织知识。九个主题覆盖模型原理、多模态能力、协议接口、应用架构、框架实现、生产工程、安全治理与现场交付。

目录采用三级结构：主题 → 子模块 → 章节。主题 README 负责展示模块关系，子模块 README 负责维护具体章节顺序，章节之间通过相对链接形成跨主题知识图谱。

总体分层

flowchart TB
    subgraph L1["第一层 · 模型与多模态能力"]
        LLM["LLM
Transformer / 训练 / 推理 / 部署"]
        MM["多模态 AI
视觉 / 语音 / 图像与视频生成"]
    end

    subgraph L2["第二层 · 协议与接口"]
        TOOLS["Tools
Function Calling / MCP / Skill / A2A"]
    end

    subgraph L3["第三层 · 应用架构"]
        AGENT["Agent
Harness / 规划 / 记忆 / 多智能体"]
        RAG["RAG
索引 / 检索 / 重排 / 生成"]
    end

    subgraph L4["第四层 · 框架实现"]
        FW["框架与编排
LangChain / LlamaIndex / DSPy / Semantic Kernel"]
    end

    subgraph L5["第五层 · 生产与治理"]
        ENG["AI Engineering / LLMOps
评测 / 观测 / 发布 / 可靠性"]
        SAFE["AI 安全与治理
威胁 / 隔离 / 红队 / 审计"]
    end

    subgraph L6["第六层 · 现场交付"]
        FDE["FDE
发现 / 验收 / 集成 / 交付 / 复用"]
    end

    LLM --> MM
    LLM --> TOOLS
    TOOLS --> AGENT
    LLM --> RAG
    MM --> AGENT
    MM --> RAG
    AGENT --> FW
    RAG --> FW
    FW --> ENG
    ENG --> SAFE
    ENG --> FDE
    SAFE --> FDE
    FDE -.现场反馈.-> FW
    AGENT -.风险输入.-> SAFE
    RAG -.风险输入.-> SAFE
    RAG -.知识增强.-> AGENT

主题目录

层次	主题	内容范围	章数	入口
底层原理	LLM	Transformer、训练与对齐、解码、量化、MoE、部署与评测选型	23	进入 LLM
模型能力	多模态 AI	融合架构、VLM、Document AI、语音、图像与视频生成、评测与服务	10	进入多模态 AI
协议接口	Tools	Function Calling、工具学习、MCP、Skill、A2A、传输协议、安全与 LLM 网关	15	进入 Tools
应用架构	Agent	架构、Runtime/Harness、工具、记忆、规划、反思、多 Agent、评估与安全	23	进入 Agent
应用架构	RAG	文档处理、Embedding、向量库、检索、重排、多模态、生成、评估、更新与安全	21	进入 RAG
框架实现	框架与编排	LangChain、LangGraph、LlamaIndex、DSPy、Semantic Kernel、轻量 Agent 框架与迁移	23	进入框架与编排
生产工程	AI Engineering	LLMOps、网关与回退、评测、可观测性、CI/CD、SLO、成本与数据飞轮	13	进入 AI Engineering
安全治理	AI 安全与治理	威胁建模、Prompt 攻击、供应链、隐私、执行隔离、红队、治理与审计	10	进入 AI 安全与治理
现场交付	FDE	岗位边界、需求发现、Eval 验收、方案选型、系统集成、生产交付与产品化复用	1	进入 FDE

主题之间的关系

同一个概念在不同层次会被反复提到，但视角不同。仓库通过「详解归属地」避免重复维护：

概念	详解归属	引用方	视角差异
CoT 思维链	LLM	Agent 规划章、RAG 生成章	LLM 讲机制，Agent 讲如何转化为规划能力
幻觉	LLM	RAG 生成章、Agent 安全章	LLM 讲根因，RAG 讲如何通过知识约束生成
KV Cache / Prompt Caching	LLM	Agent 上下文、AI Engineering	LLM 讲缓存机制，应用与工程层讲使用策略
VLM / 语音 / 生成模型	多模态 AI	Agent Computer Use、RAG 多模态章	多模态讲模型能力，应用层讲如何进入任务链路
Function Calling / MCP	Tools	Agent Harness、框架与编排	Tools 讲协议，Agent 讲运行时，框架讲具体封装
Runtime / Harness	Agent	框架与编排、AI Engineering	Agent 讲通用运行时，框架讲实现，工程层讲生产运营
记忆	Agent	框架与编排的 LangChain 模块	Agent 讲分层与取舍，框架主题讲具体实现
向量检索	RAG	框架与编排	RAG 讲索引与召回原理，框架主题讲组件封装
可观测性与发布	AI Engineering	各应用主题	工程层讲跨应用生产闭环，应用主题定义领域信号
跨层安全治理	AI 安全与治理	LLM、Tools、Agent、RAG	各层讲局部控制，治理主题统一威胁模型、红队和审计
客户现场交付	FDE	全部技术主题	技术主题讲能力，FDE 讲如何组合能力并交付可衡量结果

阅读建议

零基础入门：LLM 第 1–5 章 → Tools 第 1、4 章 → Agent 第 1–2 章 → RAG 第 1 章；
Agent / Harness 工程：Agent 全部 → Tools 全部 → 框架与编排 → AI Engineering；
RAG / 知识系统：RAG 全部 → LLM 第 5、18、21、23 章 → 框架与编排第 14–15 章；
多模态应用：多模态 AI → Agent 第 16–23 章或 RAG 第 21 章 → AI Engineering；
生产平台与 SRE：AI Engineering → LLM 推理部署 → Tools 网关 → AI 安全与治理；
安全与治理：AI 安全与治理 → Agent、Tools、RAG 各自的安全章节。
客户交付与解决方案：FDE → AI Engineering → 按项目需要回查 Agent、RAG、Harness 与安全治理。

常见问题

这份路线图适合什么读者？

它主要面向需要系统理解 AI 工程技术栈的开发者、架构师和技术研究者。初学者可以按推荐路径阅读；已经在做 Agent、RAG 或模型平台的团队，可以直接进入对应主题，再沿交叉链接补齐上下游知识。

应该从 LLM、Agent 还是 RAG 开始？

想理解模型能力边界，应先读 LLM；想构建能调用工具并持续执行任务的系统，从 Agent 和 Tools 开始；想让模型使用私有或持续更新的知识，从 RAG 开始。生产上线前还需要补充 AI Engineering 和安全治理。

内容多久更新一次？

项目不采用固定发布周期。协议、框架或模型能力出现重要变化时更新对应章节，页面会显示 Git 记录中的首次发布和最后修改日期。高时效性结论仍应结合正文标注的版本与官方链接核验。