6. 推理与压缩

中文版导读（英文原文可用）

1 说明

本章中文版正在整理中。当前可直接阅读英文原文：

• 6. Inference & Compression

2 本章关注的问题

推理系统的核心是“质量-延迟-成本”三角平衡。服务调度、KV cache 管理、量化压缩与硬件利用率优化共同决定了模型是否能在生产环境中高效、稳定地交付能力。