LLM · 推理与部署

覆盖解码、采样、KV Cache、量化、MoE 与推理服务框架。

章节

1. 第十二章：解码策略
2. 第十三章：Temperature、Top-P、Top-K 调参
3. 第十四章：KV Cache 与 Prompt Caching
4. 第十五章：模型量化
5. 第十九章：MoE 混合专家模型
6. 第二十章：部署框架选型

返回 LLM 相关知识点。