1、预处理

由于官方提供的图像的分辨率过大，所以为了计算高效，先将其裁剪为200*200大小的图片，然后进行[black_level, white_level]之间的标准化。

2、神经网络

github上找到restormer网络的源码，修改网络的dim参数，尽量使其保存的参数文件大小接近50M。毕竟参数越多，模型的表示能力越强。

还需要修改forward函数的部分，将输入的x加padding至能整除2的网络深度次方。最后返回也使用切片out[:,:,:h,:w]。

3、数据增强

数据增强仿照SRMNet源码里使用到的数据增强方法，具体有随机水平、垂直翻转，随机裁剪，随机旋转90°、180°、270°。

4、训练细节

1. 使用95%做训练集，5%做验证集。

2. 使用AdamW优化器，(beta1, beta2) = (0.9, 0.999)，batch_size = 8，一张图像大小为(4, 192, 192)。

3. 使用ReduceLROnPlateau动态调整学习率，设置初始学习率为1e-4，最小学习率为1e-6，patience = 4，factor = 0.7。

4. 预测时必须以整张图预测，该网络预测时需要32G内存。

5、loss选择

loss函数可选：L1、MSE、Carbonnier Loss、PSNRLoss

由于PSNR是根据MSE计算的，但是直接使用MSE作为损失函数会有优化问题。所以为了达到更高的PSNR，我先使用L1损失训练42个epoch，然后换MSE一直训练。直到MSE损失也不再降低时，我试图将其更换为Carbonnier Loss或者PSNRLoss，然而结果都没有变得更好。

在loss不再降低时，我试图学习restormer论文中的训练策略，更换不一样大小的图片继续训练，效果提升不明显。

6、小trick

最后一张图片多预测几次可以刷到更高的分。最终分数57.11

github链接：https://github.com/xiaowukongkong/zxpy

7、没来得及用的手段

1. 由于restormer网络耗内存和算力，所以有必要对其使用的transformer块重写，而已经有很多研究表明，在不影响性能的条件下多头自注意力可以被其他网络结构替换，比如BiLSTM、FFN以及其他的子结构。也可以使用结构重参数化来设计多路分支训练，推理时使用等效的一层卷积。若显存受限，可将网络中的BN层换成FRN层，因为其对batch_size不敏感。

2. 数据增强时可以使用cutmix。

3. 训练时可以使用混合精度来增大batch_size，加快训练速度。若网络结构中在子结构中使用到了skip connection，则可以使用随机深度训练。

4. 在loss函数选择时，可以根据官方要求的score的计算方法自己设计loss函数。

使用restormer网络做2022年中兴捧月图像去噪相关推荐

谈谈中兴捧月大赛决赛以及总结
前言四月份,在师兄的推荐下,报名参加了中兴捧月大赛.一开始只是为了混一个面笔试的资格(因为提交有效成绩即可免笔试),然后为了找一个简单的赛道,注册了几个号看了两三个赛道的题目.发现自己每个都不熟悉, ...
中兴捧月大赛之方案探讨
昨天参加完中兴捧月的决赛,感觉特别的糟糕.说实话,感觉中兴这次比赛搞得真的很奇葩!一是比赛搞得让我觉得公司对整个比赛的态度有点随意,有点不正式.二是比赛的赛题要求每天都在变,感觉不天天关注活动交流区, ...
“中兴捧月”报文监视器的实现
前一段时间和几个好友组队参加了中兴举办的"中兴捧月杯"程序设计大赛,跌跌撞撞竟然进了复赛,不过最终还是没能入围区域决赛,还是感觉很遗憾.这里把当时复赛的题目以及我们被Out的代码拿 ...
2023第十三届“中兴捧月”全球精英挑战赛今日正式启动
3月31日,第十三届"中兴捧月"全球精英挑战赛正式启动! 由中兴通讯主办的"中兴捧月"大赛,自2009年首次举办至今,已走过13个年头,是广大高校师生的重点关注 ...
2020年中兴捧月算法大赛---埃德加考特派赛题解析及代码
写在前面三月份疫情期间在家闲来无事, 各大公司举办了很多的算法比赛, 但是大多是人工智能相关, 而我这个菜鸡又不会这方面的, 这时发现了中兴捧月的埃德加考特派赛道, 也就是数据库相关本科课设, 恰好 ...
2020中兴捧月算法大赛-阿尔法（MOT）赛道--赛后总结
比赛结束了,很荣幸拿到了中兴捧月算法大赛 MOT赛道全国总决赛第二名的亚军奖杯,这估计也是我找到工作前最后一个比赛了,收获满满,下面算是自己给自己写的一个简单的赛后总结,做的比较粗糙,细节也就不多赘 ...
2020中兴捧月算法赛道傅里叶派赛题菜鸡回顾
最近抱着试水的心理参加了2020中兴捧月算法大赛傅里叶派赛题.从4.19号由旁观者转变为参赛者,到5.8号提交完成最后的文档和代码,前后算起来也有20天了.虽然自己比较菜,但毕竟是第一次参加这种比较正 ...
Deepsort_V2 2020中兴捧月阿尔法赛道多目标检测和跟踪初赛第一名
2020中兴捧月阿尔法赛道多目标检测和跟踪初赛第一名方案初赛:多目标跟踪:指标MOTA和MOTP, 后期的大量实验证明检测算法相对于跟踪更重要. 数据集分析: 1.人群密集稀疏场景: 2.场景(白天 ...
打败魔王（这是2022中兴捧月打榜的一道题）
文章目录 1.题目描述 2.解法1 3.解法2 4.解法3 1.题目描述小明和小红是两位魔法师,他们一起在一张N*N的方格地图上冒险(N<=9)去击败魔王,地图中的方格代表他们所走的路径,方格 ...

使用restormer网络做2022年中兴捧月图像去噪