文献阅读·LPIPS

简介

The unreasonable effectiveness of deep features as a perceptual metric.CVPR-2018,cited-445.
Open source,official,pytorch,star-916.

关键字

感知度量，生成图像度量，深度学习，机器学习

正文

1. 动机

现有对生成图像度量与人类感知存在较大的偏歧，如下图（原文Fig1）所示，常用的PSNR，SSIM，FSIM度量与人类感知存在较大的差异，而本文的出发点（从学习任务种提取特征进行判别）与人类的感知比上述的度量更加一致。

从图片可以看出不论是监督学习，半监督学习还是无监督学习，只要是深度学习，从其模型的网络结构种提取的特征进行度量都可以得到与人类感知比较一致的判断，因此论文提出使用当前任务的模型所学习的特征来进行度量。使用的特征如图（原文Fig3）所示：

2. 计算方式

具体度量的计算就是计算真实样本和生成样本在模型内的特征差异，这个差异在每个通道内使用 来计算，最后是所有通道的加权平均，具体公式如下：

参考资料

[1] Zhang, Richard, et al. "The unreasonable effectiveness of deep features as a perceptual metric." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.