关键字： 对抗攻击 显著目标检测
文章链接：ROSA: Robust Salient Object Detection Against Adversarial Attacks
一、背景
这篇paper的一大亮点是如何防御对抗攻击的方法，而我们首先要知道什么是对抗攻击。
以一种特定的方式设计输入，从而从模型中得到一个错误的结果，这便被称为对抗性攻击。而这样的输入样本，也被称为对抗样本。通俗来讲，就是我们可以对任意图像，加上一点细微的，无法察觉的噪声，从而使其被分类为错误的标签。图像识别中，可以理解为原来被一个卷积神经网络（CNN）分类为一个类（比如“熊猫”）的图片，经过非常细微甚至人眼无法察觉的改动后，突然被误分成另一个类（比如“长臂猿”）。
而这篇paper，则采取了一种比较巧妙的方法，来防御这类似的攻击。
除此之外，文章还考虑了如下几个之前工作存在的问题：
1. 密集标签模型并没有显示地展示图像不同部分之间的对比度差异，而是隐式地估计单个FCN中的显著性。一旦输入图像被对抗噪声污染，低阶特征和高阶特征也会受到影响。
2. 目前最大的突出目标检测训练数据集仅包含数千幅图像，与一些具有数百万样本的图像分类数据集相比过少。使得模型检测出的可能是在训练集中出现频率较高的对象，而不是定位最明显的对象。
当然，第二个问题貌似没有在文章中解决。
二、本文贡献
本文是第一篇成功地在显著目标检测模型上抵御了对抗攻击的论文，并验证了对抗样本在各种现有方法上都是有效的。此外，本文还提出了一种新的端到端可训练框架，以增强任意基于FCN的显著目标检测模型应对对抗攻击的鲁棒性。
该框架采用了一种新的思想，即首先引入一些新的通用噪声来消除对抗干扰，然后使用引入的噪声学习预测输入图像的显著图。具体来说，文章提出的方法包括一个分割屏蔽组件，该组件保留边界并破坏微妙的对抗噪声模式；以及一个上下文感知恢复组件，该组件通过全局对比建模来确定显著图。
这样的框架有以下几个优点：
1. ROSA框架不太容易受到对抗性攻击。由于屏蔽组件没有可学习的参数，因此它不能将梯度反向传播到输入图像上从而生成对抗性样本。即使在测试集中出现对抗性样本，它们仍能被屏蔽组件破坏。
2. 分割屏蔽组件只会把处在相同区域的像素随机打乱，而不会破坏区域的边界。
3. ROSA采用基于FCN的模型作为主干，恢复组件由支持并行计算的卷积算子实现。两种设计都有助于保持整个系统可接受的效率。
三、论文细节
1. 生成对抗样本
文中使用了一种基于梯度迭代的pipline来生成对抗样本。为了生成这些样本，需要一个在显著目标检测训练好的网络，原始图片和对应的标签，这些标签在像素级上已经密集标注好了。
假设f(,
)代表训练好的模型，y代表自然图像，x代表原始图像，x*代表生成的对抗样本，将x和x*按照如下式子迭代：
将x*传入训练好的模型中，计算梯度即可按照以下式子得到Pt：
Pt‘再乘上一个固定参数即可得到Pt。为了确保噪声干扰不会被发现，应满足原始图片的像素值与生成的对抗样本的像素值之差的无穷范式小于一个定值
，即：
当到达最大迭代次数或者约束不满足时，即可停止迭代，这时生成的样本即为最终的对抗样本。
2. ROSA框架
ROSA框架由分割屏蔽组件、基于FCN的主干网和上下文感知恢复组件组成。
首先将输入图像传入分割屏蔽组件。分割屏蔽组件首先通过引入一些更容易防御的随机噪声，破坏输入图像潜在的对抗性噪声成分。之后将载有噪声的图像划分为不重叠的区域，即超像素。然后将在同一个超像素内的所有像素随机排列，这不仅能破坏已有的对抗噪声，还能限制新引入的噪声，同时也不会破坏区域边界，方便之后的恢复工作。
划分区域使用的是 Frequency-tuned salient region detection 这篇论文提到的方法，首先用在规则网格中采样的像素来确定每个簇的在位置和像素的联合质心，再把每个像素分给距离最近的簇，并迭代更新质心，当新质心与旧质心的距离的平方误差收敛时，停止更新。
再将从分割屏蔽组件中输出的图像传入FCN主干网络中，得到相应的粗糙显著图。
之后的上下文感知恢复组件会利用一个图模型来refine之前得到的粗糙显著图。这个图模型主要是通过对应的平滑图像提供的像素级相似性来最小化一些能量函数，从而还原出最终的像素位置。平滑图像则是通过对原始输入图像施加双边滤波器得到的。能量函数如下所示：
其中y代表粗糙显著图，y*表示最终确定的结果，E的计算如下所示：
其中p代表像素位置，x代表像素颜色，x’是通过双边滤波器的平滑图像的；ω1和ω2是训练得到的； θα, θβ和θγ 设置为160, 3, 和 3；μ是一个可学习的标签兼容性函数，它用于惩罚得到了不同标签的i和j。
用于训练的损失函数使用交叉熵。
四、实验结果
本文在 MSRA-B, HKU-I, DUT-OMRON和ECSSD等数据集上进行实验，并使用了DSS， DCL，RFCN等8个模型，与smooth filter、JPEG压缩、图像量化和TVM进行了对比。部分实验结果如下图所示：
最终得出结论：ROSA框架不仅显著增强了主干网络防御对抗攻击的鲁棒性，而且在自然图像上表现出更好的性能。并且框架中的两种成分分割屏蔽组件和上下文感知恢复组件是强耦合的，并有显著的互补性。
除此之外，文章作者还验证了生成对抗样本时无穷范式的边界对于对抗攻击强度的影响。实验结果表明，随着
的增大，对抗性攻击的强度也会逐渐增大。然而，随着
上升，ROSA框架的性能只会略有下降，然后变得稳定。这表明，ROSA框架对不同强度的对抗样本具有较强的鲁棒性。
五、总结
目前，防御对抗性攻击大部分是修改网络模型，对输入图像进行变换操作等方式，试图消除或减少对抗噪声的影响。然而，这篇paper反其道而行之，用新的噪声破坏已有的对抗性噪声，有类似于“以毒攻毒”的效果。虽然操作很简单，但是想法还是很巧妙的。
唯一感觉有疑惑的是，文章并没有证明引入的通用噪声对对抗性攻击防御能力的影响。因为一般对抗性攻击使用的都是针对于该图像的特定的噪声扰动，通过分割屏蔽组件使一定区域内的像素点随机打乱在一定程度上也能影响对抗噪声的分布，起到消除对抗攻击影响的作用。加上通用噪声能使防御能力变得更强，但是没有通用噪声或许也有一定的效果呢。这可能还需要对比实验来验证。
六、参考文献
3.Adversarial examples for semantic segmentation and object detection
