百度Paddle免费课程——从零开始学视觉Transformer

本学习笔记来源于百度Paddle免费课程从零开始学视觉Transformer：如果有时间建议大家去看至少两遍，干货很多。链接：
https://aistudio.baidu.com/aistudio/course/introduce/25102
本次的课程代码都在：https://github.com/BR-lDL/PaddleViT
我的学习笔记：记录一些内容以及PPT，以及实现代码。
十一次课的学习笔记，写在了这个专栏里。因为我没有用CSDN直接写，而是用Typora写的，可以导出为word和pdf格式，可以不订阅专栏阅读笔记，直接在文末百度云链接自取嗷～文末有链接

课程内容如下：

课程一：实现ResNet18（残差网络）
1. Why Transformer？
2. 实现ResNet18代码：
课程二：图像与Transformer基础
1. 数字图像：图像和像素
2. 实现Tensor使用
3. 实现Patch Embedding：
课程三：视觉问题中的注意力机制
1. Vision Transformer回顾
2. Attention注意力机制
3. 实现Multi-Head Self Attention：
课程四: ViT模型全流程拆解
1. Multi-Head Self Attention：回顾
2. 实现Vision Transformer:从论文到代码（还需理解⚠️）
课程五：如何训练ViT模型？DeiT算法解析
1. Vision Transformer模型回顾
2. 实现DeiT：从论文到代码（还需理解⚠️）
3. 实现数据处理（paddle.vision.transform.compose）自己实现
课程六：Swin Transformer-1
1. Vision Transformer回顾
2. Swin Transformer
3. 实践：Swin transformer
课程七： Swin Transformer-2
1. Swin Transformer回顾
2. Shifted Window Multi-Head Self Attention
3. Relative Position Bias
4. 实战Swin Transformer
课程八：卷积和Transformer结合的ViT
1. 回顾Swin Transformer
2. 卷积和Transformer结合——MobileViT
3. 实践Swin Transformer
4. 实践数据加载Dataloader
课程九: 自监督ViT算法：BeiT和MAE
1. SSL在NLP中的应用：
2. Bert
3. BeiT
4. MAE：Masked Autoencoders Are Scalable Vision Learners
5. 实践：Config配置和实验分开进行
课程十: 目标检测DETR-1
课程十一：目标检测DETR-2

链接: https://pan.baidu.com/s/1Z9w9biipueLF1J-yg0rN6g 提取码: 4h44
–来自百度网盘超级会员v5的分享