知识蒸馏
外观
![本页使用了标题或全文手工转换](http://upload.wikimedia.org/wikipedia/commons/thumb/c/cd/Zh_conversion_icon_m.svg/35px-Zh_conversion_icon_m.svg.png)
![]() |
知识蒸馏(knowledge distillation)是人工智能领域的一项模型训练技术。该技术透过类似于教师—学生的方式,令规模较小、结构较为简单的人工智能模型从已经经过充足训练的大型、复杂模型身上学习其掌握的知识。该技术可以让小型简单模型快速有效学习到大型复杂模型透过漫长训练才能得到的结果,从而改善模型的效率、减少运算开销,因此亦被称为模型蒸馏(model distillation)。
工作原理
[编辑]历史
[编辑]知识蒸馏技术最早提出于2014年提出。当年“深度学习教父”Geoffrey Hinton等人在当年年底召开的NIPS 2014会议中的一个Workshop中提出此方法。[1]
参考资料
[编辑]- ^ Hinton, Geoffrey; Vinyals, Oriol; Dean, Jeff. Distilling the Knowledge in a Neural Network. 2015-03-09. arXiv:1503.02531
[stat.ML] (英语).