AI 工程手册
有一种变化，正在悄悄发生。 过去的软件，是确定的。 输入是什么，输出就是什么。 程序是一条被严格控制的路径：逻辑、分支、状态机、接口协议。 工程师的工作，是把世界压缩成可以被代码精确描述的形式。 但现在，这种方式开始失效了。
越来越多的系统，不再直接计算答案，而是生成答案。 它们不再严格执行规则，而是在不确定性中做出“看起来合理”的决策。
于是，软件的本质发生了改变。
一种新的范式
今天的系统，往往长这样：
- 一个模型负责生成与理解
- 一个检索系统提供外部记忆
- 一组工具连接真实世界
- 一个评估系统判断结果是否可接受
代码不再直接解决问题。代码开始组织一个“会思考的系统”。 这听起来很抽象，但工程师很快就会意识到一件事：
你写的已经不再是程序，而是一个系统的“行为条件”。
这个系统可能会犯错，会犹豫，会偏离目标。 你无法完全控制它，但你可以约束它、引导它、修正它。 这是一种新的工程范式。
我们把它称为：AI 工程系统。
为什么要读这本书
关于 AI 的资料已经非常多了，论文、博客、开源项目、教程——几乎什么都有。但它们大多解决的是局部问题：
- Transformer 是如何工作的
- RLHF 是怎么训练的
- RAG 怎么搭
- 推理怎么加速
这些都很重要，但有一个问题很少被系统性地回答：
这些东西是如何组合成一个完整系统的？
在真实世界里，一个 AI 系统从来不是单一技术。它同时包含：
- 训练（预训练、中训练、对齐）
- 模型（架构选择、能力分布）
- 推理（延迟、KV cache、系统优化）
- 应用（RAG、工具、智能体）
- 以及评估与反馈回路
更重要的是：这些部分是强耦合的。
- 训练方式会改变推理行为
- 模型结构会影响系统延迟
- 检索设计会改变输出质量
- 工具接口会决定系统是否可靠
如果你只理解其中一部分，你很难真正理解系统。
我们在试图回答什么
这本书只围绕一个问题展开：
现代 AI 系统是如何被构建的？
为了回答这个问题，我们把系统拆成五层： 基础 → 训练 → 模型 → 推理 → 应用 这不是一种分类方式，而是一种观察角度。你可以从 Transformer 开始，一路走到智能体系统；也可以从一个应用问题出发，反推它背后的训练与模型结构。当这些层之间的联系变得清晰时，AI 工程才会变成一个可以被理解的系统，而不是一堆技术名词。
两条写作原则
这本书遵循两条简单的原则。
1. 问题重于答案
当模型可以轻易生成答案时，真正稀缺的，是问题。 一个好的问题，通常比一个复杂答案更有价值。 我们更关心：
- 为什么 KV cache 能降低复杂度？
- 为什么 LoRA 有效？
- 为什么 RAG 有时会让系统变差？
- 为什么一个 agent 会“越用越笨”？
这些问题，才是理解系统的入口。
2. 图表重于文字
当文字可以无限生成，文字本身不再是证据。 结构才是。 一个好的图，往往比一页文字更接近真实。 因为它暴露了系统的约束、路径和权衡，而不是表面的描述。 所以你会在本书中看到大量结构图：它们不是装饰，而是推理的一部分。
为什么有面试题
有一个很常见的错觉：
“我已经理解了。”
但只要有人问一句：
“那你解释一下为什么？”
理解就会崩塌。 因此，本书收录了大量来自真实 AI 工程面试的问题。 不是为了考试。 而是为了让你检验一件事：
你是真的理解，还是只是见过这些词。
当你能清晰回答这些问题时，你才真正理解了这个系统。
如何阅读这本书
这本书不是一本“从头到尾顺序读完”的书。
你可以：
- 从基础开始，建立完整心智模型
- 从应用开始，反推系统结构
- 或者直接跳到你正在构建的那一层
如果你在构建一个智能体系统，第 7 章会比第 1 章更有用。但当系统出问题时，你最终还是会回到前面。 这本书的目的，不是给你答案。而是让你在面对复杂系统时，知道该问什么问题。
目录
第一部分 大语言模型系统基础
第二部分 大语言模型训练
第三部分 模型架构
第四部分 推理系统
第五部分 AI 应用
附录
结语
感谢阅读。
读懂 AI，不是为了跟上时代。 是为了在时代改变我们之前，先站进浪里。
希望下一次浪来的时候，你已经不在门外。 你已躬身入局，做点真东西。