论文链接:http://openaccess.thecvf.com/content_cvpr_2018/html/0823.html
1 Method
1.1 动态上采样滤波器
传统的上采样方法(如双线性插值、bicubic插值等)的滤波器kernel是固定的,也就是说对整幅图像的不同区域进行的操作是相同的。
本文提出了滤波器生成网络生成动态上采样滤波器。
如上图所示,将图像放大4倍,一个像素会变成16个像素,例如图中点(3,3)变为点(12,12)到(15,15)的区域。因此,为一个像素生成16个滤波器,每个滤波器大小为5×5。
1.2 残差学习网络
通过上述方法上采样的图像缺乏清晰度,因为还是用邻域像素的加权值得到的,可能会丢失细节。因此构建了一个残差网络学习图像细节,以上述方法上采样的图像作为残差的baseline。
1.3 网络结构设计
(1) 参数共享:滤波器生成网络和残差生成网络的大部分参数是共享的;
(2) 密集连接:参数共享的部分采用了密集连接(DenseNet)的设计;
(3) 3D卷积:使用3D卷积,把多帧图像融合处理。
用1.1得到的滤波器对LR图像上采样,然后将上采样图像与1.2中生成的残差相加的到最终的图像。
1.4 数据扩增
为了使网络可以学习到现实世界中复杂多变的运动,需要对数据进行扩扩增。
(1) 随机旋转和翻转;
(2) 间隔几帧采样一次,以模拟更快的运动。
2 Implementation
损失函数采用了huber loss,当差值较小的时候为平方损失,当差值较大的时候为绝对值损失。huber loss降低了离群点的惩罚度,对离群点的鲁棒性较好。因为当差值较大(即离群点)时,使用的绝对值损失比平方损失更小,所以离群点的影响更小。具体解释可以参见博客线性拟合——从最大似然估计到平方误差到huber loss。
3 Experimental Results
3.1 可视化
(1) 学习到的运动
(这部分证明了该方法不需要显式的运动估计,但是我看了两遍也没有看懂……)
(2) 3D卷积滤波器
把3D卷积滤波器可视化,滤波器的三个通道的值分布比较均匀(没有某一通道有大面积黑色的情况),说明3D卷积有作用。
(3) 动态上采样滤波器
对于同一张图像的不同区域,生成的滤波器不一样,说明滤波器生成网络起了作用。
3.2 结果