DeiT（Data-efficient Image Transformer） 是由 Facebook AI 和索邦大学联合提出的高效视觉 Transformer模型，通过引入 注意力蒸馏（distillation through attention） 机制显著提升了训练效率。

相关资源包括：

1. 论文与源码（arXiv:2012.12877，GitHub开源）；

2. 技术解析文章（51CTO/CSDN 等平台详解模型原理与蒸馏方法）；

3. 实现教程（PyTorch 版 ViT/DeiT 代码库）；

4. 论文翻译（完整中译版）。

核心创新在于采用 CNN 教师模型 进行知识蒸馏，使 Transformer 在较小数据集上达到 SOTA 性能。多篇解读从不同角度剖析了其 架构设计、训练策略 及与 ViT 的对比。

• 论文链接: https://arxiv.org/abs/2012.12877

• 发表单位: Facebook AI & Sorbonne University

• 源码地址: https://github.com/facebookresearch/deit

资源合集

1、Transformer + Distillation：DeiT 高效的图像Transformer

        详细讲解了DeiT模型论文
搞懂Vision Transformer 原理和代码，看这篇技术综述就够了(三)_51CTO博客_vision transformer和transformer区别https://blog.51cto.com/godweiyang/5518762

2、DeiT：ViT & 模型蒸馏

        简单阐述了DeiT的机制，并介绍了模型蒸馏方法，额外提供了DeiT的实现代码
DeiT：ViT&模型蒸馏 - 知乎https://zhuanlan.zhihu.com/p/471384477

3、DeiT：Training data-efficient image transformers & distillation through attention

        简要讲解了DeiT论文内容
DeiT：Training data-efficient image transformers & distillation through attention-CSDN博客https://blog.csdn.net/qq_45122568/article/details/125566077

4、Transformer主干网络——DeiT保姆级解析 

       Transformer主干网络——DeiT保姆级解析_deit v2-CSDN博客https://blog.csdn.net/qq_37668436/article/details/122887573

5、【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention 

         

【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention-CSDN博客https://blog.csdn.net/yideqianfenzhiyi/article/details/113444303

6、 论文阅读笔记 | Transformer系列——DeiT

        

论文阅读笔记 | Transformer系列——DeiT_deit系列-CSDN博客https://clichong.blog.csdn.net/article/details/120917515?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3-120917515-blog-113444303.235%5Ev32%5Epc_relevant_increate_t0_download_v2_base&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3-120917515-blog-113444303.235%5Ev32%5Epc_relevant_increate_t0_download_v2_base&utm_relevant_index=6

7、【读论文】Transformer的蒸馏DeiT: Training data-efficient image transformers & distillation through attention 

        又是一篇赏析DeiT论文的文章
【读论文】Transformer的蒸馏DeiT: Training data-efficient image transformers & distillation through attention - 知乎https://zhuanlan.zhihu.com/p/580974932

8、DeiT翻译【Training data-efficient image transformers & distillation through attention】

        纯正的中文版论文
DeiT翻译【Training data-efficient image transformers & distillation through attention】-CSDN博客https://blog.csdn.net/weixin_42132032/article/details/115188032

9、DeiT

        一篇特别简短介绍DeiT的文章，但是干货很多
DeiT - 知乎https://zhuanlan.zhihu.com/p/345508187

10、ViT和DeiT的原理与使用

        

(80 封私信 / 82 条消息) ViT和DeiT的原理与使用 - 知乎https://zhuanlan.zhihu.com/p/354140152

11、DeiT：使用Attention蒸馏Transformer

(80 封私信 / 82 条消息) DeiT：使用Attention蒸馏Transformer - 知乎https://zhuanlan.zhihu.com/p/413404691

12、基于Pytorch实现的ViT模型源码

GitHub - lucidrains/vit-pytorch: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification with only a single transformer encoder, in Pytorchhttps://github.com/lucidrains/vit-pytorch

13、基于Pytorch实现的DeiT模型源码

GitHub - facebookresearch/deit: Official DeiT repositoryhttps://github.com/facebookresearch/deit