IJCAI 2024 | 首个视频人脸修复技术！让人脸细节更清晰！

主要观点总结

本文报道了IJCAI 2024的一篇论文，介绍了一种新的视频人脸修复技术——Beyond Alignment: Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer。该技术由西电和西南科大联合提出，是首个针对视频人脸修复的技术，能够让人脸细节更清晰，并解决了传统方法中对齐操作的复杂性和误差问题。

关键观点总结

关键观点1: 视频人脸修复技术的研究现状和挑战

大多数现有方法主要针对静态图像，无法有效处理视频中的时序信息，需要繁琐的对齐操作，且在面对长视频时恢复结果不一致。

关键观点2: PGTFormer的介绍和优势

PGTFormer是第一个专门为视频人脸修复设计的方法，采用端到端的设计，摒弃了传统方法中的复杂对齐步骤，实现了更加高效和连贯的视频人脸恢复。

关键观点3: PGTFormer的网络结构和训练过程

PGTFormer分为两个阶段进行训练。第一阶段训练TS-VQGAN，提供高质量视频人脸先验信息。第二阶段利用这些先验信息，通过人脸解析模块和时空Transformer模块完成视频人脸恢复任务。

关键观点4: PGTFormer的实验结果和评估

PGTFormer在多个公开数据集上与其他最先进的方法进行了对比，在PSNR、SSIM、LPIPS等定量指标上表现优异，并且在主观视觉对比中也展现了卓越的恢复效果。

关键观点5: 未来展望

研究者计划进一步优化网络结构，并将其应用到更广泛的视频增强任务中。