生物信号被证明为真实影像的真实感标记，也被用作deepfake检测的重要生物标记。 据我们所知，假视频的合成人物不能有与真视频人物相似的心率模式。 这项研究的重要发现基于这样的事实：这些生物信号可以解释为包括各模型的残差标识变换在内的假心率。 这不仅确定了视频的真实性，而且促进了对可用于分类生成该视频的源模型的生物信号的新搜索。
为了连续捕捉生物信号的特征，研究者定义了新的时空块——PPG单元。 此时空间块将多个原始的PPG信号及其功率谱组合起来，从一个固定的窗口中提取。 为了生成PPG单元，首先需要使用面部检测器按每一帧找到面部。
第二步是从检测到的人的脸上提取具有稳定的PPG信号的关心区域(ROI ) (图1d )。 为了有效地提取，研究者利用眼睛和嘴之间的脸部区域，最大限度地增加了皮肤暴露。
由于来自面部不同区域的PPG信号之间存在相关性，因此定位ROI并测量其相关性是检测的重要步骤。
第三步需要非线性ROI与矩形图像对齐。 在本研究中，我们使用Delaunay triangulation [26]，然后对每个矩形使用非线性仿射变换，将每个矩形转换为校正图像(rectified image )。
在第四步中，研究者将各图像分割为32个相等大小的正方形，在帧尺寸的固定窗口中计算各正方形的原始Chrom-PPG信号，不干扰面部检测(图1e )。 然后，计算校正图像中的Chrom-PPG。 这是因为可以生成更可靠的PPG信号。 每个窗口现在都有 32个原始PPG值。
这个研究中提出的系统用Python语言实现，用OpenFace库进行面部检测，OpenCV进行图像处理，用Keras实现神经网络。
表1显示了测试集中的PPG单元分类结果，VGG19区分了4种不同的生成模型，在检测FaceForensics (FF )的实际影像方面达到了最高的精度(图1f )。 像DenseNet和MobileNet这样的复杂网络因为过拟合，所以达到了非常高的训练精度，但在测试集中的效果与人们的意见相反
文/上海蓝盟 IT外包专家
中文
电话咨询
微信咨询
公众号
