标签：swin-transformer
作者：炼己者
本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！
这是跑通的分割源码介绍，大家有需要可以参考一下
1、Swin-Transformer分割源码(已跑通)
2、关于swin transformer原理的一些补充理解
3、Swin-Unet(分割改编)
一. 概要
- 最近swin-transformer大火，代码开源两天，girhub直接飙到1.9k。估计接下来关于和swin-transformer相结合的各种网络结构paper就要出来了，哈哈，我也是其中的一员，拼手速吧各位。它的原理网上的博客已经讲的非常的细致了，甚至还有带着读源代码的。这些大佬真的很强，下面会放一些本人读过的非常有助于理解的博客。我在这里主要分享的是官方源码如何跑通，跑通它的代码还是非常不容易的，有很多的小坑。对于我们小白而言，跑通代码才能给我们继续了解原理的信心，然后也可以大胆的debug，去验证里面的代码是否与论文所述的一致。
二. 正文
1. 相关博客分享
A、与代码相关的讲解
(1)、CV+Transformer之Swin Transformer ，这篇是知乎一个大佬最早分享的关于swin-transformer代码讲解的博客。这里面的代码不是官方开源的代码，算是野生代码。但也很有助于对swin-transformer的理解，大家可以参考。
(2)、图解Swin Transformer，这篇是关于官方源代码的讲解了，主要讲的是swin-transformer的结构。
B、与论文原理相关的讲解
2021-Swin Transformer Attention机制的详细推导 这篇博客相当详尽，也是最近才发现的，里面竟然手推了复杂度的计算公式，还有一些attention mask的计算，可以参考一波儿。
想要好好理解swin-transformer真的非常建议论文和代码结合着读，相互印证，才可以更好的理解，也方便自己魔改，各种应用。
2、官方swin-transformer源码
👉戳右边：Swin-Transformer源码
对了，我主要分享关于分类应用的代码。分类问题比较简单，利用这个任务去了解swin-transformer再合适不过了。
这里给个中文版的步骤吧
配置环境
- 把这份代码clone到你的服务器上，或者本地
git clone https://github.com/microsoft/Swin-Transformer.git
cd Swin-Transformer
- 创建运行环境，并进入环境
conda create -n swin python=3.7 -y
conda activate swin
- 安装需要的环境
conda install pytorch==1.7.1 torchvision==0.8.2 cudatoolkit=10.1 -c pytorch
这里注意一下自己的环境，我这边的cuda是10.1的，所以可以直接按着官方给的这个来。怎么看自己的cuda环境呢，有很多种方法，最靠谱的是这个：
cat /usr/local/cuda/version.txt
别看nvidia-smi的那个，那个不准。
- 安装 timm==0.3.2:
pip install timm==0.3.2
好了，大头来了，坑爹的apex，安装它是相当的难受。
我是在另一台服务器上玩儿不来，然后换了一台又可以了，挺迷的。大伙儿可以先按照官方的那个操作来，如果安装不了，可以下载我这边提供的apex文件，然后再按照官方的那个操作再来一遍。注意啊，apex安装不成功的原因基本就是cuda版本和torch版本不匹配，这个我已经有心理阴影了，在这里不多提。假设你这边下载了我这边的apex文件，尽量和我一致吧，把apex文件放在swin-transformer这个代码文件之外，别掺和在一起。然后按照以下操作：
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
继续安装其他环境
pip install opencv-python==4.4.0.46 termcolor==1.1.0 yacs==0.1.8
环境配置完毕！！！
数据集
官方这边匹配代码的数据集是imagenet，但是imagenet太大了，咱只是想跑通一下，然后看看里面的源码咋回事儿，感觉感觉，犯不着去下载这么大的数据。真羡慕你们能看到这篇博客，来来来，我这儿提供了小型版的imagenet的数据集，统一放到下面了，百度网盘自取。
运行代码
有了数据，有了代码，那就运行了
首先是训练的运行方式：
python -m torch.distributed.launch --nproc_per_node 4 --master_port 12345 main.py --cfg configs/swin_tiny_patch4_window7_224.yaml --data-path imagenet --batch-size 64
--data-path对应的就是数据文件所在的位置
然后是测试的运行方式：
python -m torch.distributed.launch --nproc_per_node 1 --master_port 12345 main.py --eval --cfg configs/swin_tiny_patch4_window7_224.yaml --resume /pth/swin_tiny_patch4_window7_224.pth --data-path imagenet
补充一个你可能遇到的bug，CalledProcessError & RuntimeError。遇到这个bug的原因就是上面的命令里面写的有问题，比如路径写错了或者压根儿路径对应的文件就不存在，那么就会报这样的错误，大家注意！！！
这就是从官方源码那边clone下来的，区别在于我这里加了个pth文件，就是模型文件，我提供的百度网盘文件里面有，还有imagenet文件夹，这里面放着数据。
这是从网盘下载下来的东西，apex就别放在swin-transformer文件里面了，跟它并行就好。然后数据文件解压缩之后，记得改名为imagenet。
链接：https://pan.baidu.com/s/1N0HmEqYcjtgU6vA3ZrJbSQ
提取码：uwew
好了！！！这样操作下来大概率是可以跑通的
3、小结
如果跑的还是有问题，大家可以下面留言，我们交流。接下来我也打算分享自己关于swin-transformer的理解体会，尽可能把过程中收集的资料，文献都分享在这里，大家共同进步。
希望可以帮助到大家，如果你觉得这篇文章对你有一定的帮助，那就点个赞支持一下吧！如果有什么问题的话也可以在文章下面评论，我们一起交流解决问题！
以下是我所有文章的目录，大家如果感兴趣，也可以前往查看
👉戳右边：打开它，也许会看到很多对你有帮助的文章
