清华大学提出视频去含糊畛域顺应打算 硬盘里的收藏电影可以更明晰了

引言：视频灵活场景中的含糊疑问及其应战

这篇论文重要钻研了灵活场景视频去含糊技术，旨在消弭拍摄环节中发生的不想要的含糊瑕疵。但是，虽然之前的视频去含糊方法取得了清楚的成绩，但因为训练和测试视频之间的域差距，造成在实在环球场景中的体现大幅降低。为了处置这个疑问，作者提出了一种基于含糊模型的域自顺应打算，经过测试时的含糊来成功去含糊模型在未知域的微调。首先，作者提出了一个相对明晰度检测模块，用于从含糊的输入图像中识别出相对明晰的区域，并将它们视为伪明晰图像。而后，应用含糊模型依据测试时的伪明晰图像生成含糊图像。为了依据指标数据散布分解含糊图像，作者提出了一个域自顺应含糊条件生成模块，为含糊模型创立域特定的含糊条件。最后，生成的伪明晰和含糊对用于微调去含糊模型以取得更好的性能。

论文题目：Domain-adaptive Video Deblurring via Test-time Blurring

机构：National Yang Ming Chiao Tung University, Taiwan; National Tsing Hua University, Taiwan; National Chengchi University, Taiwan; Qualcomm Technologies, Inc., San Diego

论文链接：

提出的域顺应方法概述

1. 域顺应的必要性

因为摄像机设置和拍摄场景的多样性，不同的视频或者出现出不同的含糊形式，这些形式在训练阶段或者未被模型见过，从而造成模型在实践运行中效果降低。域顺应方法经过调整模型以顺应新的域个性，有助于优化模型在未见畛域的性能。

2. 方法的外围组件：相对锐度检测模块和域顺应含糊条件生成模块

相对锐度检测模块（RSDM）用于从含糊视频中检测出相对明晰的区域，这些区域被视为伪锐利图像。域顺应含糊条件生成模块（DBCGM）则依据这些伪锐利图像和视频中的静止线索，生成与指标域特定含糊条件相婚配的含糊图像。这些生成的含糊图像随后用于微调去含糊模型，以顺应指标域的个性，从而在推理时成功域顺应。

相对锐度检测模块（RSDM）详解

1. 模块的配置与上班原理

相对锐度检测模块（RSDM）的重要配置是从含糊视频中提取相对明晰的区域，这些区域被视为伪明晰图像用于域顺应。该模块包括一个含糊强度预计器（Blur Magnitude Estimator, BME），它能够预测每个像素的含糊水平，并生成一个含糊强度图。这个图经过一个自顺应的锐度阈值启动二值化处置，以挑选出相对明晰的区域。这些区域随后被裁剪进去，用于后续的域顺应含糊处置。

2. 含糊强度预计器的设计与优化

含糊强度预计器驳回了一个五阶段的编解码器设计，其中包括多尺度特色融合（Multi-Scale Feature Fusion, MSFF）。这种设计能够有效地从不同尺度捕捉图像特色，提高含糊强度的预测精度。为了优化这个预计器，经常使用了GoPro数据集启动训练，该数据集经过高速摄像机拍摄延续的明晰帧来分解含糊图像，从而为含糊强度提供了实在的训练基准。

域顺应含糊条件生成模块（DBCGM）详解

1. 生成域特定含糊条件的方法

域顺应含糊条件生成模块（DBCGM）应用从相对锐度检测模块（RSDM）取得的伪明晰图像，结合ID-Blau含糊模型，生成与指标域中存在的含糊形式分歧的含糊图像。该模块包括含糊方向预计器（Blur Orientation Estimator）和含糊强度预计器（BME），它们独特上班以生成域特定的含糊条件。这些条件反映了视频中延续帧间的静止消息和曝光环节中的含糊强度。

2. 应用延续帧的静止消息优化含糊效果

DBCGM经过剖析延续帧之间的静止轨迹图来优化含糊效果。这一环节触及到预训练的光流网络，用于计算相邻帧之间的静止。经过这种形式，可以更准确地模拟实践视频拍摄环节中的静止含糊，生成更人造、与指标域分歧的含糊图像。这些图像随后用于微调去含糊模型，以提高其在未知域中的体现。

试验设置与验证

1. 经常使用的数据集和模型

在本钻研中，咱们经常使用了GoPro数据集来优化ID-Blau模型和含糊度量预计器（BME）。GoPro数据集蕴含了由高速摄像机拍摄的延续明晰帧分解的含糊图像。此外，咱们还驳回了四种先进的视频去含糊模型，包括ESTRNN、MMP-RNN、DSTNet和Shift-Net，以验证咱们提出的域顺应方法的有效性。这些模型原本训练于分解数据集，而咱们将其在五个实在环球的视频去含糊数据集上启动微调，包括BSD的三个子集和RealBlur以及RBVD测试集。

2. 试验结果与剖析

咱们的域顺应方法在五个实在环球的视频去含糊数据集上均清楚提高了视频去含糊模型的性能。详细来说，与基线模型相比，咱们的方法在BSD-1ms8ms、BSD-2ms16ms、BSD-3ms24ms、RealBlur和RBVD测试集上区分提高了4.61dB、3.90dB、2.57dB、1.92dB和2.31dB的平均峰值信噪比（PSNR）。这些结果证实了咱们的域顺应方法能够有效地利用生成的域顺应训练对，对原始训练于分解数据集的去含糊模型启动有效微调。

本文转载自​​，作者：