一文回忆常常出现图像融合方法

背景引见

图像融合将多个源图像（或者来自不同传感器、不同视角、不同期间点）的消息整合到繁多的输入图像中，这一环节旨在经过有效兼并各源图像中的互补、冗余或共同消息，生成一个既蕴含一切关键细节又具有增强特性的综合图像。

例如对多帧不同曝光设置下的图像融合可以成功高灵活范围（HDR）成果，对多帧不同焦段的图像启动融合可以获取大景深的图像，多张延续拍摄的相反环境下的图片可以有效降低图像中的噪点并优化全体画质，多个视角的图像拼接融合可以获取全景图像。

依据不同的融合义务须要设定不同的准绳，而后对每张图像计算一个权重图。依据原始图像和融合权重图就可以依据融合算法计算结果。图像融合算法要保障结果过渡人造，明晰度不产生失落。其他如色调人造度、细节保管、边缘过渡、伪影克服等方面也要尽如人意。

常常出现的融合算法可以依据空间域融合和频域融合来划分：

空间域融合

alpha融合

alpha融协作为最便捷的融合方法，关于两张介入融合的图像每个对应位置的像间接启动加权，alpha控制各帧图像介入融合的比例。

alpha融适宜宜在前景贴图、亮度比拟凑近的图像之间的拼接义务，alpha权重理论为物体的宰割结果，并且为了过渡人造权重须要坚持必定的平滑性。

金字塔融合

金字塔融合被宽泛运行于多曝光融合义务中，关于不同亮度图像间的融合alpha融合很难保障融合mask边缘亮渡过渡人造，金字塔融合应用图像金字塔结构来成功图像的多尺度融合，保障过渡平滑性。

金字塔融合关键触及权重的高斯金字塔融合和图像的拉普拉斯金字塔融合，高斯金字塔是由同一幅图像经过一系列降采样和滤波操作构建而成的一组不同分辨率的汇合，而拉普拉斯金字塔是高斯金字塔每个尺度的残差，那么图像就被分解为低分辨率下的低频重量和不同尺度下的高频细节。

def size sigma cv2ksizesize sigmasigmadef imagekernel  # out_image  cv2image cv2 kernelout_image  cv2image None fx fy interpolatinotallowcv2 out_imagedef image shape_1 shape_0kernel  out_image  cv2image shape_1 shape_0 interpolatinotallowcv2# out_image  cv2out_image cv2 kernel out_imagedef img depth  imggp   i  depth  gp gpdef img depthgp  img depth  lp  gpdepth   i  depth      gpi gpi  shape gpi  shape  cv2gpi   lp    lp lp

关于每个尺度区分启动alpha融合获取该层融合结果，最后对融合结果的拉普拉斯金字塔做一次性重建（层上采样叠加上一层）就可以获取融合结果。

泊松融合

图像泊松融合（Poisson Blending）是一种先进的图像编辑技术，关键用于将源图像中的某个物体或区域无缝地嵌入到指标图像中，创立出人造、无显著接缝的新图像。这一技术基于泊松方程及其在图像解决中的运行，特意实用于须要准确婚配源图像和指标图像之间光照、纹理和色调的状况，以成功难以发觉的融合成果。

相较于Alpha融合，泊松融合对源图像融合边缘的准确性要求较低，不须要α mask准确的把物体恤边的截取进去，仍能成功较好的融合成果。

泊松融合的原理如下：v代表指标图像D的原始梯度场， g代表指标图像D的原始标量场（亮度），如今须要把指标图像这局部区域融进源图像S中，重建的融合结果咱们设为f：

一方面咱们宿愿f的结构消息（梯度）和指标图像D的梯度v不要有太大的变动，另一方面也宿愿f融合边界Ω的亮度和源图像S的边界亮度要相等，这样能力有一个平滑的过渡：

关于这个泛函方程的求解，带入欧拉-拉格朗日方程后，可以看成带有狄利克雷边界条件的泊松方程：

这里三角形代表亮度标量场的拉普拉斯算子，div代表梯度矢量场的散度。依据不同的需求散度可以间接等于指标图像D的散度，也可以对前后景D和S的散度做一些混合（mixed）。

补充资料：浅谈矢量场 -- 1.梯度、散度与拉普拉斯算子：

IHS融合

IHS融合（Intensity-Hue-Saturation Fusion）是一种关键用于遥感图像解决畛域的图像融合技术，针对多光谱图像与高分辨率全色图像启动融合。其目的是结合多光谱图像丰盛的光谱消息与全色图像的空中间分辨率，生成一幅既具有空中间细节又蕴含多光谱特色的融合图像。

经过HIS变换将多光谱图像高空间分辨率的强度重量I和颜色成分H、S区离开，而后将全色图像空中间分辨率的强度重量交流上来，就可以获取一张色度和饱和度重量坚持不变并且分辨率优化的图像。最后反HIS变换获取最终输入，即到达了空间分辨率的优化也对光谱消息和色调做了保管。

PCA融合

主成分剖析（PCA）被宽泛运行于数据降维，经过一组小于原始维度数量的基底P对原始数据X启动线性变换，将少量相关变量的消息稀释到少数几个主成分中。其中每个主成分反映原始变量的大局部消息，特色值示意对应主成分所解释的原始数据的总方差比例。

PCA融合与IHS融合一样关键运行在遥感图像解决畛域中，将具有不同特性的多光谱图像（高光谱分辨率、高空间分辨率）与全色图像（空中间分辨率、低光谱分辨率）结合起来，生成同时具有空中间分辨率和高光谱分辨率的融合图像。

实践解决中关于多光谱图像首先启动PCA剖析，找出波段间协方差矩阵的关键特色向量（主成分），这些主成分代表了多光谱数据的关键变异方向，即光谱消息的关键组成局部。

关于全色图像将像素值（单波段）经过某种模式（如直方图婚配）调整，使其与多光谱图像的第一主成分（理论蕴含最多光谱消息）相婚配，使两者在光谱层面有必定的对应相关。

最后将调整后的全色图像（携带空间细节）与多光谱图像（携带光谱消息）依照某种规定（如加权平均、交流低频局部等）启动融合，生成最终的空中间分辨率、高光谱分辨率的融合图像。

补充资料：PCA主成分剖析学习总结 (，奇特值分解SVD（）

频域融合

DCT融合

DCT变换将像素域的数据转换到频率域，频域中图像的能量关键集中在低频局部，高频局部则蕴含了更多的细节和边缘消息。咱们可以应用多帧图像各自的频谱特性扬长避短，提高图像的细节等局部。

图像分块： 将输入的各帧图像宰割成大小相反的子块。

DCT变换： 对每个子块区分启动DCT变换转换到频率域。

融合规定： 在DCT域内，理论依据各子块的频率特性启动融合操作，如高频消息融合保管图像的高频局部，由于其提供了更丰盛的空间细节。低频消息融合依据图像的空间结构消息，经过加权、插值等模式融合低频局部。

逆DCT变换： A将融合后的DCT系数启动逆变换获取融合后的子块图像，并将一切融合后的子块拼接起来构成完整的融合图像。

在多景深分解义务中，融合准绳设计为低频做平均、高频取最大值的战略，可以看到融合结果明晰度复原成果比拟好，并且也没有显著的块效应。

小波融合

小波剖析能够同时捕捉图像的频率和空间消息，使得在融合环节中能够有效地保管源图像的细节和结构特色。DWT 融合的基本步骤与DCT基本相似：首先对各帧图像启动小波变换，而后依照必定的融合准绳对各帧的变换系数启动加权解决兼并为一帧，最后对兼并的单帧系数启动小波逆变换获取最后融合图像。

这里依然以多景深融合为例展现融合的环节，由于多景深融合须要取各帧明晰度高的中央，因此融合准绳是取变换后系数的大数融合：

论文汇总

原文链接:​ ​​ ​