阿里巴巴优酷视频增强和超分辨率挑战赛-持续更新

大赛概况

1.数据预处理

2.模型初选

3.训练 ->确定两个模型

4.训练,修改网络，继续优化

大赛概况

大赛地址：https://tianchi.aliyun.com/competition/entrance/231711/introduction?spm=5176.12281949.1003.2.37422448y3C5Xj

视频增强和超分是计算机视觉领域的核心算法之一，目的是恢复降质视频本身的内容，提高视频的清晰度。该技术在工业界有着重要的实用意义，对于早期胶片视频的质量和清晰度的提升有着重大的意义。

此外，复赛审核通过的排名前10队伍，可进入阿里（优酷）校招绿色通道。

数据地址：https://tianchi.aliyun.com/competition/entrance/231711/information

注明：研究生期间做这方面的，现在打算做这个比赛；把我一路心得体会记录下来，模型代码也会同时公布，尽量每周更新，希望近复赛吧，一起加油

1.数据预处理

下载并安装FFmpeg；

ffmpeg工具十分强大，抽帧，合成视频的功能都具备

按照这篇博客操作：https://blog.csdn.net/chy466071353/article/details/54949221

说明下，我配置环境是win10+cuda9.0；

如果速度太慢的话,这里是百度网盘地址：

链接：https://pan.baidu.com/s/1UQcxSuqjGq8bLI3yCOwf9A
提取码：b9ma

官方提供的预处理命令：

y4m 格式介绍：https://wiki.multimedia.cx/index.php/YUV4MPEG2
y4m 与 yuv（yuv420 8bit planar） 互转命令：y4mtoyuv: ffmpeg -i xx.y4m -vsync 0 xx.yuv  -yyuvtoy4m: ffmpeg -s 1920x1080 -i xx.yuv -vsync 0 xx.y4m -y
y4m 与 png 互转命令：y4mtobmp: ffmpeg -i xx.y4m -vsync 0 xx%3d.bmp -ybmptoy4m: ffmpeg -i xx%3d.bmp  -pix_fmt yuv420p  -vsync 0 xx.y4m -y
y4m 每25帧抽样命令：ffmpeg -i xxx.y4m -vf select='not(mod(n\,25))' -vsync 0  -y xxx_sub25.y4m

一条条处理太麻烦了：自己写一些函数处理省事。

我的初步想法是将y4m转成.bmp图片,然后单张图片超分辨率，最后合成y4m视频。这个过程是存在问题的：

y4m转bmp bmp转y4m ： y4m和转回来的y4m之间的psnr是44左右，理论上是inf（无限大的），所以这个转换过程存在精度损失。但是这个流程简单，我才用这种方式获得图片，现在的分值在39.38,40+的大神应该已经有更优秀的方式吧；怎样无损获得图像这个问题值得思考。

2.模型初选

推荐一些单张图片超分辨率比较好的论文，并附带代码：

DBNP：https://github.com/alterzero/DBPN-Pytorch；有代码，有模型，eccv workshop冠军，这个网络效果的确无敌，奈何电脑渣渣，跑不了。

超分总结：https://github.com/YapengTian/Single-Image-Super-Resolution；这是一位大神总结的，可以好好看看

今天用RDN：https://github.com/MingtaoGuo/Residual-Dense-Network-Trained-with-cGAN-for-Super-Resolution

上面的代码修改的，跑出了自己的模型：psnr32.7有点偏低。

这是我的代码，里面也有模型：https://github.com/958099161/Super_resolution

下面就是单张图片的效果：

小图：

超分结果：

看下面的字体就知道，效果不太好了，流程走通了，下面就慢慢优化了

总结的一些超分辨率小技巧：

1、图像超分辨率领域上采样常采用的方式是亚像素卷积https://blog.csdn.net/CHNguoshiwushuang/article/details/81155361

2、很多论文将gan应用在图像超分辨方面，但是都给出结论，gan只能在感官效果上对图像有提升，但客观指标psnr却没有提升。

3、空洞卷积没有在图像超分辨率得到广泛应用，主要原因是图像超分辨率上采样的过程中只是和周围的像素点有关系，空洞卷积的目的是扩大感受野，所以空洞卷积对图像超分辨率也没有提升。

3.训练确定两个效果比较好的网络

还没有用19年论文，目前采用18年提出的一些网络结构，觉得RDN，DBNP效果都不错，显卡多的大神都可以试试。一块显卡的同学，建议RDN吧。层数越深效果越好，当然建立在收敛好的前提下，所以感觉这个比赛最后很考验硬件。感觉40是个坎

目前就是这个成绩了，渣渣电脑，跑程序的时候电脑特别卡，15000张图一个epoch，一晚上跑10个epoch吧，进复赛就行，后续再优化吧。

4.训练,修改网络，继续优化