姓名：张钰  学号：21011210154  学院：通信工程学院

【嵌牛导读】MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes论文阅读笔记

【嵌牛鼻子】一种能够消除对抗样本对 Deepfake 干扰攻击的方法，该方法对防止深度伪造能力滥用提出了新思考

【嵌牛提问】Deepfake主动性防御的方法（Deepfake 对抗扰动）不再可靠，还需要找到更佳的 Deepfake 防御方案以及检测方案
【嵌牛正文】
转自：https://mp.weixin.qq.com/s/sA28INF4StZ09Q558ZAjOA#rd

论文信息

• 题目：MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes

• 作者团队：

• 会议：CVPR 2021

• 论文链接：https://arxiv.org/abs/2103.14211

前言

近年来，“AI 变脸”特效风靡全球，近期爆红的 “蚂蚁呀嘿” 再次掀起体验和讨论的热潮，这种源自人工智能生成对抗网络（GAN）的新技术，能够利用深度学习技术识别并替换图片或视频中的原始人像，不仅制作过程简单，而且逼真度惊人，几乎能达到以假乱真的效果。

Deepfake 作为一项技术工具，有广泛的应用空间。语音合成能让计算机用人类的声音说出上百种语言，视频合成能让《速度与激情》里的 Paul Walker 复生，但若被滥用，也将带来巨大的风险，给身份识别和社会信任带来挑战，虚假视觉信息的应用与传播还会给人们造成隐私安全等多方面的困扰。

为此，一些研究致力于防止滥用 Deepfake，有研究者通过在源数据中添加对抗性干扰来破坏 Deepfake 的可能性，但是这种方法尚未完全消除威胁。来自腾讯 Blade Team 的研究者提出了一种 mask-guided 检测和重建方法 MagDR（Mask-guided Detection and Reconstruction），该方法能够让 Deepfake 免受对抗攻 击，这为破环 Deepfake 带来了新的思考方向。同时，该方法也能用于提升 AI 图像处理的安全性。

MagDR 首先提出了一种检测模块，该模块定义了一些标准来判断 Deepfake 的输出是否异常，然后使用该模块指导一个可学习的重建过程。提取自适应 mask 是为了捕获局部面部区域的变化。在实验中，MagDR 保护了 Deepfake 的三项主要任务，并且学得的重建 pipeline 能够迁移到输入数据上。这表明 MagDR 在防御黑盒和白盒攻击方面都具有很好的性能

方法

MagDR 框架

MagDR 二阶段框架的核心思想在于使用一些非监督性指标，对对抗样本在 Deepfake 中所生成的结果进行敏感性的评估，并且利用人脸属性区域作为辅助信息以及通过对最优的防御方法进行搜索组合的方式对图片进行检测和重建，以期望能够达到净化原图并保持 Deepfake 输出真实性的目的。

实验

该研究选取了 Deepfake 中较为重要的三个任务进行攻防实验，分别为换脸、人脸属性修改以及表情变换。给原图增加噪声后，所产生的对抗样本尽管对原图进行了修改，但修改的程度明显低于人眼可察觉的水平，而 Deepfake 模型产生的深度伪造视频却已经崩坏，无法以假乱真，其对 Deepfake 带来的影响是灾难性的。

但当改为通过 MagDR 框架进行处理时，情况发生了变化。该模型首先对视频中的对抗攻击扰动进行检测，提醒 Deepfake 的使用者，所用的图片或视频大概率是存在对抗攻击的，然后通过重建视频模型，能够有效地将攻击者注入的对抗扰动进行消除，从而实现了 Deepfake 模型相关系统的正常使用。

这一发现表明，目前业界主流的主动性防御的方法（Deepfake 对抗扰动）不再可靠，为了避免社交网络上人脸照片被恶意使用，还需要找到更佳的 Deepfake 防御方案。