蒸馏

什么是蒸馏

模型蒸馏（Knowledge Distillation）是把大模型（教师）的知识迁移到小模型（学生）的技术。

典型案例

DeepSeek 把大模型的能力蒸馏到 7B/1.5B 小模型，性能接近 70B。