机械之心报道

作者：思源

盘算机视觉顶会 CVPR 2020 吸收效果已宣布，6656 篇有用投稿中录取了 1470 篇论文，录取率约为 22%。本文先容了微软亚洲研究院的研究者被 CVPR 2020 吸收的一篇论文，其提出给换脸图像做「X-Ray」，检测图像是否是合成图片，并指出合成的界限，兼备了识别和注释两种特征。

换脸，是滥用深度学习的效果之一。之前我们对视频照样对照信服的，而自从 Deepfakes、FaceSwap 等应用开源以后，我们能自己天生种种换脸视频，网络上也最先撒播层出不穷的「假视频」。

自 2019 年以来，我们采取了许多方式来封杀换脸应用，弗吉尼亚州 7 月将 Deepfake 滥用列入非法范围、推特 11 月公布首个反 Deepfake 计谋、谷歌 10 月公布 FaceForensics 基准数据集以否决假视频。

然而，只管有了应对措施，换脸算法也在不断改进，我们很难有一个通用的算法能检测差别模子天生的合成图。

人脸变换中的两种模式，我们常见的是第二种，将目的人脸的种种姿态脸色都迁移到原来的人脸中。

我们有差别的算法天生换脸图像，甚至以后会有越来越多的新算法天生更生动的换脸视频。但现在主流的检测方式是，在真实图像与伪造图像上训练一个二分类模子，希望它能判别出来。若是训练数据都是 Deepfakes 天生的，那么显然它不太能判断 FaceSwap 天生的伪造图像。

因此，我们需要从另一个角度，看看天生换脸图像都经由什么步骤，有没有可能找到一种通用方式。

换个角度，思量轮廓

微软亚洲研究院常务副院长郭百宁示意：「现在我们提出了一个方式，它既不需要领会换脸后的图像数据，也不需要知道换脸算法，就能对图像做『X-Ray』，鉴别出是否换脸，以及指出换脸的界限。」

论文地址：https://arxiv.org/pdf/1912.13458.pdf

以是新模子 Face X-Ray 具有两大属性：能泛化到未知换脸算法、能提供可注释的换脸界限。要获得这样的优良属性，诀窍就藏在换脸算法的一样平常历程中。如下所示，大多数换脸算法可以分为检测、修改以及融合三部门。与之前的研究差别，Face X-Ray 希望检测第三阶段发生的误差。

换脸模子的典型历程，之前的研究都在检测换脸带来的误差，而 Face X-Ray 希望检测到融合的界限。

读者可能会疑惑，DL 真的能识别融合历程中的缺陷吗？郭百宁博士示意，在图像采集历程中，每一张图像都有其怪异的特征，它们可能来源于拍摄硬件，或者处理软件。只要不是一体天生的图像，它们在融合的历程中都市留下线索，这些线索人眼看不到，但深度学习能捕捉。

下图展示了图像噪声剖析与误差水平剖析，我们可以发现，真实图像展现出一致地噪声模式，而换脸显著会有所差别。

其中 a 为真脸，b 为合成图像，中心列为噪声剖析，右侧一列是误差水平剖析。

郭百宁博士说：「一样平常我们在探索、做研究的时刻都要提出一些勇敢的想法，另一方面我们也在思索这个想法到底靠不靠谱，有没有证据来支持它。而噪声剖析与误差水平剖析，正好就是 Face X-Ray 具有优良效果的证据。」

这些考察都解释，模子确实有潜力发现融合历程中发生的缺陷。现在，我们可以想象一下，对于每一张输入图像，Face X-Ray 会盘算一张灰度图，若是模子检测出换脸的痕迹，它就会在灰度图上画出界限，若是模子检测不出痕迹，那么灰度图就是空的。

Face X-Ray 会识别换脸图像融合的界限，若是是真实图像，则不反馈界限。

怎样学习换脸界限？

基本思想已经很明确了，那么详细怎样做才能使 Face X-Ray 学习种种换脸界限，而不用管换脸模子与数据集到底是什么？在论文中，研究者示意，若是我们在天生换脸时同时天生它的界限，那么使用换脸后的图像与合成脸的界限，模子就能自行学习到判别知识。

沿着这种思绪，Face X-Ray 只需要接纳真实人脸，就能完成训练。详细来说，研究者通过三个步骤天生 Face X-Ray 图像：

给定一张真实图像，找到另一张真实图像以替换掉前一张真实图像需要改变的地方；

天生一个 Mask 以界定修改的区域；

融合靠山与目的图像。

整个训练样本的天生历程可以示意为：

给定真实人脸 I_B，找另一张真实人脸 I_F 以示意 I_B 的变换效果，与此同时天生换脸区域。

对于第一步，研究者会使用人脸特征点作为匹配尺度，从其余图像/视频中凭据欧氏距离找一组样本，然后从这组样本中随机找一张作为换脸后的「脸部」。

在第二步，初始的 Mask 界说为人脸特征点的凸包。由于面部变换并不一定总是集中在面部的主要部门，例如只改变嘴部位置。因此，研究者接纳随机形变以构建更合理与真实的 Mask 区域，且 Mask 区域最后会接纳高斯模糊以平滑边缘。

第三步给定面部图像 I_F 与靠山 Mask I_B，模子就能通过如下方程 1 获得融合效果。而最终的 Mask 也能通过另一个方程提炼出融合的界限。值得注意的是，研究者针对 I_F 应用了色彩校正手艺，以匹配靠山图像的色彩气概。

如下方程 1 所示，M 为灰度值从 0 到 1 的 Mask，其越靠近 1，融合图像就更多接纳的是 I_F 部门的面部图像，即目的人脸图像。

泛化优异的 Face X-Ray

在论文的实验部门，我们可以看到 Face X-Ray 具有异常优异的泛化性能，不论是什么样的算法天生的换脸图，它都有异常不错的效果。

下面的实验图表很显著地证实了这一点，研究者接纳 FaceForensics 中的基准数据集作为训练与测试集，Xception 是之前最优的二分类换脸检测模子。

由于 FaceForensics 基准数据集有四种换脸算法合成，即 DeepFakes (DF)、Face2Face (F2F) 、 FaceSwap (FS) 和 NeuralTextures (NT)，研究者将它们拆分为四种训练与测试集，并最后在 FaceForensics 基准上做测试。

此外，由于 Face X-Ray 这种只需真实图像的模子异常容易获取数据，因此研究者基于真实图像构建了一组夹杂图像，并示意为 BI。

如下所示为主要的实验效果，例如第一行示意 Xception 在 DeepFakes 天生的数据集上做训练，然后在 DeepFakes 及其它模子天生的换脸图上做测试。

可以看出来，Xception 这类二分类模子的泛化效果并欠好，若是它在 DeepFakes 数据集上做训练，那么在 FaceSwap 数据集上的效果就欠好，甚至等价于随机预测。这解释它们对换脸算法及数据集不具有鲁棒性，只要稍微修改一下，检测算法的效果就会降低许多。

相比而言，Face X-Ray 就稳健许多，纵然不在对应的数据集上训练，不知道换脸算法是什么，它的准确率也都在 95% 以上。

固然，并没有完善的换脸检测模子。微软亚洲研究院高级研究员陈栋博士说：「若是图像是整体合成，那么 Face X-Ray 是难以检测出来的；若是针对 Face X-Ray 训练一个新换脸模子，我们的算法也有可能被攻击到。换脸与换脸检测是矛与盾的关系，两者相互促进与生长。」

本文为机械之心报道，转载请联系本民众号获得授权。

------------------------------------------------

加入机械之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或追求报道：content@jiqizhixin.com

广告 & 商务互助：bd@jiqizhixin.com