论文笔记 | 基于风格迁移的超分辨率重建方法

最近查了一下基于深度学习的超分辨率重建方法，除了John的风格迁移网络直接说明了网络既可以用于风格迁移，也可以用于超分辨率，我还看到了两篇文章（暂时只找到这两篇）。

《Texture Enhancement via High-Resolution Style Transfer for Single-Image Super-Resolution》

论文地址：https://ieeexplore.ieee.org/document/8290957

基于的原理是大图像的纹理由不同尺度的小图像组成（类似于分形的思想？），例如下图缩小0.4倍再平铺的视觉效果和原始HR很像。

算法分为三个步骤：

1. 使用一般的SR重建方法生成一幅初始HR图像；
2. 将初始HR图像缩小再平铺，生成HR风格图像（缩小的尺度文中有介绍专门的算法，这里不介绍了）；
3. 以初始HR图像作为内容图像，HR风格图像作为风格图像进行风格迁移，得到最终的结果。

网络的整体结构如下：

网络框架图

《Enhancing Image Quality via Style Transfer for Single Image Super-Resolution》

论文地址：https://ieeexplore.ieee.org/document/8290957

这篇文章没有细看，只看了一下方法图解。

1. 用基于MSE损失的网络生成图像HR₁；
2. 用基于感知损失的网络生成图像HR₂（文中使用的是SRGAN）；
3. 以HR₁为内容图像，HR₂为风格图像进行风格迁移；
4. 风格迁移结果与HR₁做一个soft thresholding，得到最终图像。

但是我不知道这个方法这样处理的意义何在，后面有机会可能再细看一下。