机械之心报道

介入：思、杜伟、蛋酱

换脸视频是滥用 DL 的一大效果，只要网上有你的照片，那么就有可能被换脸到其它靠山或视频。然而，有了这样的开源攻击模子，上传的照片不再成为问题，deepfake 无法直接拿它做换脸。

克日，来自波士顿大学的研究者在一篇论文中先容了 deepfake 新研究，看论文题目与效果，似乎只要输入我们的图片，deepfake 换脸模子就不能再拿我们的图片作为素材制作小视频。

看上去效果很好，只需要加一些人眼看不到的噪声，换脸模子就再也天生不了准确人脸了。这样的思绪不正是匹敌攻击么，之前的攻击模子会通过「伪造真实图像」来诱骗识别模子。而现在，攻击模子天生的噪声会武装人脸图像，从而诱骗 deepfake，令 deepfake 天生不了诱骗人类的换脸模子。

这篇波士顿大学的研究放出来没多久，就受到许多研究者的热议，在 Reddit 上也有异常多的讨论。看到这篇论文，再加上研究者有放出 GitHub 项目，很可能我们会想到「是不是能在线公布我们的照片，然后 deepfake 之后就用不了了？」

但事情一定没我们想的那么简朴，Reddit 用户 Other-Top 说：「凭据这篇论文，我需要先行使该方式对照片举行处置，然后再上传照片，别人再用这张做换脸就会失足。」

也就是说，我们的照片、明星的照片先要用攻击模子过一遍，然后才气上传到网络上，这样的照片才是平安的？

听起来就对照贫苦，但我们照样可以先看看这篇论文的研究内容，说不定能想出更好的设施。在这篇论文中，研究者行使源图像中人眼无法感知的匹敌攻击，借助匹敌噪声滋扰图像的天生效果。

这一损坏的效果是：所天生的图像将被充实劣化，要么使得该图像无法使用，要么使得该图像的转变显著可见。换而言之，不能见的噪声，令 deepfake 天生显著是假的视频。

论文地址：https://arxiv.org/abs/2003.01279

代码地址：https://github.com/natanielruiz/disrupting-deepfakes

匹敌攻击，Deepfake 的克星

匹敌攻击，常见于诱骗种种图像识别模子，虽然也能用于图像天生模子，但似乎意义不是那么大。不外若是能用在 deepfake 这类换脸模子，那就异常有远景了。

在这篇论文中，研究者正是沿着匹敌攻击这条路「诱骗」deepfake 的换脸操作。详细而言，研究者首先提出并乐成应用了：

可以泛化至差异种别的可迁徙匹敌攻击，这意味着攻击者不需要领会图像的种别；

用于天生匹敌网络（GAN）的匹敌性训练，这是实现鲁棒性图像转换网络的第一步；

在灰盒（gray-box）场景下，使输入图像变模糊可以乐成地防御攻击，研究者展示了一个能够规避这种防御的攻击方式。

图 1：滋扰 deepfake 天生的流程图。使用 I-FGSM 方式，在图像上应用一组无法觉察的噪声，之后就能乐成地滋扰人脸操作系统（StarGAN）的输出效果。

大多数人脸操作架构都是用输入图像和目的条件种别训练的，例如使用某些属性来界说天生人脸的目的脸色（如给人脸添加微笑）。若是我们想要阻止他人为图像中的人脸添加微笑，则需要清晰选择的是微笑属性，而不是闭眼等其他不相关属性。

以是要靠匹敌攻击诱骗 deepfake，首先需要梳理带条件的图像转换问题，这样才气将之前的攻击方式迁徙到换脸上。研究者并提出了两种可迁徙的滋扰变体种别，从而提升对差异种别属性的泛化性。

在白盒测试场景下，给照片加模糊是一种决定性的防御方式，其中滋扰者清晰预处置的模糊类型和巨细。此外，在真实场景下，滋扰者也许知道所使用的架构，但却忽略了模糊的类型和巨细，此场景下的一样平常攻击方式的效果会显著降低。以是，研究者提出了一种新型 spread-spectrum disruption 方式，它能够规避灰盒测试场景下差异的模糊防御。

总的而言，只管 deepfake 图像天生有许多怪异的地方，然则经受过「传统图像识别」的匹敌攻击，经由修改后就能高效地诱骗 deepfake 模子。

若何攻击 Deepfake

若是读者之前领会过匹敌攻击，，那么这篇论文后面形貌的方式将更容易明白。总的来说，对于若何攻击 deepfake 这类模子，研究者示意可以分为一样平常的图像转换修改（image translation disruption），他们新提出的条件图像修改、用于 GAN 的匹敌训练手艺和 spread spectrum disruption。

我们可以先看看攻击的效果，原本没修改的图像（没加匹敌噪声）是可以完成换脸的。然则若是给它们加上匹敌噪声，只管人眼看不出输入图像有什么改变，不外模子已经无法凭据这样的照片完成换脸了。

与匹敌攻击相同，若是我们给图像加上一些人眼无法识别，但机械又异常敏感的噪声，那么依赖这样的图像，deepfakes 就会被攻击到。

现在对照盛行的攻击方式主要是基于梯度和迭代的方式，其它许多优异与先进的攻击方式都基于它们的主要头脑。这一类方式的主要头脑即希望找到能最大化损失函数转变的细小扰动，这样通过给原始输入加上这一细小扰动，模子就会误分类为其它种别。

通常简朴的做法是沿反向流传盘算损失函数对输入的导数，并凭据该导数最大化损失函数，这样攻击者就能找到最优的扰动偏向，并组织匹敌样本诱骗该深度网络。

例如早年提出的 Fast Gradient Sign Method（FGSM），若是我们令 x 示意输入图像、G 为完成换脸的天生模子、L 为训练神经网络的损失函数，那么我们可以在当前权重值的邻域线性迫近损失函数，并获得令天生图像 G(x) 与原本换脸效果「r」差异最远的噪声η。

FGSM 能通过反向流传快速盘算梯度，并找到令模子损失增添最多的细小扰动 η。其它如基本迭代方式（BIM）会使用较小的步长迭代多次 FGSM，从而获得效果更好的匹敌样本。如下图所示将最优的扰动 η 加入原输入 x「人脸」，再用该「人脸」天生 deepfakes 就会存在问题。

另有三种攻击法

上面只先容了匹敌攻击最为焦点的头脑，它在一定程度上确实能够诱骗 deepfakes，然则要想有好的效果，研究者在论文中提出了三种更完善的攻击方式。这里只简要先容条件图像修改的头脑，更多的细节可查阅原论文。

之前添加噪声是不带条件的，但许多换脸模子不仅会输入人脸，同时还会输入某个种别，这个种别就是条件。如下我们将条件 c 加入到了图像天生 G(x, c) 中，并希望获得令损失 L 最大，但又只需修改最小像素 η的情形。

为领会决这一问题，研究者展示了一种新的攻击方式，它针对条件约束下的图像转换方式。这种方式能增强攻击模子迁徙到种种种别的能力，例如种别是「笑容」，那么将它输入攻击模子能更好地天生令 deepfakes 失效的人脸。

详细而言，研究者将 I-FGSM 修改为如下：

实验效果

实验解释，研究者提出的图像级 FGSM、 I-FGSM 和基于 PGD 的图像加噪方式能够乐成地滋扰 GANimation、StarGAN、pix2pixHD 和 CycleGAN 等差异的图像天生架构。

为了领会基于 L^2、L^1 器量图像「修改量」对图像转换效果的影响，在下图 3 中，研究者展示了滋扰输出的定性示例以及它们各自的失真器量。

图 3：L_2 和 L_1 距离之间的等值规模（equivalence scale）以及 StarGAN 滋扰图像上的定性失真。

对于文中提出的迭代种别可迁徙滋扰和团结种别可迁徙滋扰，研究者给出了下图 4 中的定性示例。这些滋扰的目的是迁徙至 GANimation 的所有动作单元输入。

图 4：研究者提出这种攻击换脸模子的效果。

如上图所示，a 为原始输入图像，它在不加入噪声下的 GANimation 天生效果为 b。若是以种别作为约束，使用准确种别后的攻击效果为 c，而没有使用准确种别的攻击效果为 d。后面 e 与 f 分别是研究者提出的迭代种别可迁徙攻击效果、团结种别可迁徙攻击效果，它们都可以跨种种种别攻击到 deepfakes 天生模子。

在灰盒测试的设置中，滋扰者不知道用于预处置的模糊类型和巨细，因此模糊是一种有用抵御匹敌性损坏的方式。低幅度的模糊可以使得损坏失效，但同时可以保证图像转换输出的质量。下图 5 展示了在 StarGAN 结构中的示例。

图 5:高斯模糊防御的乐成示例。

若是图像控制器使用模糊来阻挡匹敌性滋扰，对方可能不知道所使用模糊的类型和巨细。下图 6 展示了该扩频方式在测试图像中乐成实现滋扰的比例。

图 6:差异模糊防御下的差异模糊规避所造成的图像滋扰比例 (L^2 ≥ 0.05)。

图 7:对于接纳高斯模糊（σ = 1.5）的防御手段，spread-spectrum disruption 方式的效果。第一行展示了最初不针对模糊处置举行攻击的方式；第二行为 spread-spectrum disruption 方式方式，最后一行是 white-box 测试条件下的攻击效果。

本文为机械之心报道，转载请联系本民众号获得授权。

------------------------------------------------

加入机械之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或追求报道：content@jiqizhixin.com

广告 & 商务互助：bd@jiqizhixin.com