利索能及
我要发布
收藏
专利号: 2017113541038
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,主要包括以下步骤:步骤A1:采用SURF对原始图像进行对齐,得到对齐图像;根据对齐图像获得Latent images和权重图;

步骤A2:计算对齐图像与Latent images的序列的区别,获得动态物体标签图;

步骤A3:根据权重图和动态物体标签图,利用马尔科夫随机场选择对齐图像中曝光度好、细节多的区域合成得到梯度图;并对梯度图求偏导获得拉普拉斯图像;

步骤A4:通过解泊松方程将拉普拉斯图像恢复成RGB图像,确定内部约束点位置,对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。

2.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述步骤A1中先将原始图像序列进行对齐,对齐时选择一张曝光度较好的中间曝光度的图像作为参考图像;以参考图像作为目标,其它图像向参考图像对齐;使用SIFT特征提取算法的加速算法SURF进行特征点检测并采用KLT算法进行追踪。

3.根据权利要求2所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述步骤A1中用直方图规定的方法获得Latent images,根据输入图像的曝光度修改参考图像的曝光度得到Latent images序列,序列中所有图像的结构都与参考图像相同,但曝光度各不相同。

4.根据权利要求2所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述步骤A1中综合考虑对齐图像的对比度Ci、饱和度Si和曝光度Ei获得与对齐图像一一对应的权重图。

5.根据权利要求4所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述步骤A1中对每张对齐图像的灰度图进行拉普拉斯滤波并取绝对值,获得对比度Ci;

通过计算图像R、G、B三通道的标准差获得饱和度Si;RGB三个通道分别应用高斯曲线并将结果相乘获得图像的曝光度;根据灰度值为0.5±0.1的程度使用高斯曲线为灰度值分配权重Wi;利用对比度Ci、饱和度Si和曝光度Ei可以获得与输入图像对应的权重图,通过以下Hadamard积实现:

Wi=(λ1Ci)·(λ2Si)·(λ3Ei)   (1)其中,i代表第i张输入图像;λ1,λ2和λ3是三个可调节的参数用来调整三者对权重的影响。

6.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述步骤A2中获得对齐图像和Latent images后,用MRF优化函数检测每张图像中的动态物体获得动态物体标签图;所述MRF优化函数表达式为:其中p和q为像素;L(p)和L(q)分别为p和q的标签;N为由相邻像素组成的集合;ED和ES分别为MRF的数据项和平滑项;为了增加检测的准确性,将图像分成欠曝光区域、中间曝光区域和过曝光区域三部分,分别计算Eu,Ew,Eo数据项;其中Eu定义如下:其中(i,p)代表第i张图像的p像素;L为Latent images;D为输入图像与L的距离,其定义会在之后给出;thres是一个距离阈值参数;σunder是第i张图像欠曝光度区域的标准差,同理,σwell和σover是中间曝光度区域和过曝光度区域的标准差;β是用来调节标准差对结果影响的参数;γ用来整体调整曝光度的影响;J函数的定义为: 与thres一起调节距离对数据项的影响;

同理,Ew和Eo的定义如下:

上述数据项中,D函数的定义如下:

Dw(i,p)=|L(i,p)‑I(i,p)|   (8)所述平滑项的定义如下:

通过上述计算,每张对齐图像可以得到一张动态物体模板图M,所述动态物体模板图M只包含0和1两种像素值,其中1代表动态物体,0代表其它元素。

7.根据权利要求6所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述步骤A3中将动态物体模板图与权重图作为区域选择模块中MRF的数据项,可以在选择好的曝光区域的同时排除动态物体的影响;根据权重Wi可以定义MRF的第一个数据项E1:其中,label是图像的标签,若有三张输入图像,label的值为0,1或2;eps是一个接近0的极小值,公式中分母加上eps是为了避免权重为0的情况出现;E1用来确定合成结果中该像素本来属于哪张输入图像;

定义MRF的第二个数据项E2用于动态物体检测,其中E2的公式如下:其中Mlabel(i)=1的地方是检测出的动态区域,因为MRF是能量最优函数,所以若某张输入图像中存在动态物体,相应的区域处E2值为无穷,即最后的标签图中该区域像素从其它图像中选择,不考虑此处有动态物体的图像;若输入图像该处均被检测为动态物体,则该区域合成的像素从参考图像中选择。

8.根据权利要求7所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述步骤A3中定义完整的用于获得标签图的MRF能量函数如下:其中xi是像素i的标签;υ是所有元素组成的集合;ε是由相邻元素组成的集合;λ′和λ″是协调参数,用于协调各项的影响;E3(xi,xj)是MRF的平滑项,用来衡量相邻元素间的标签相似性,E3定义如下:

E3(xi,xj)=|xi‑xj|·g(Cij)   (13)这里g(Cij)=1/(1+Cij),Cij表示两个像素i和j的颜色相似性:

2 2 2

Cij=sqrt(R(i‑j) +G(i‑j) +B(i‑j))   (14)其中R(i‑j)代表图像R通道两个像素i和j的差值,当两个像素拥有很大的不同时,g(Cij)接近0,由此可将E3(xi,xj)作为惩罚项,相邻的两元素被分配不同的标签时会受到惩罚。

9.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,步骤A4中将图像分成大小相等的规则小块,分别计算输入图像与结果图的相应小块的元素和,并将两者做差,若此差值超过设定的阈值tcons则认为合成图像此处与输入图像差别较大,判定合成图像此处有细节丢失,则在该区域中心处添加一个像素约束点并重新解泊松方程;根据融合结果S(out)的中心点像素S(out)22对应的标签确定选择图像进行做差得到S(in),其中差值的计算公式如下:若差值res超过设定的阈值tcons,则解泊松方程时在S(out)22处添加一个约束点用来约束此处信息,减少细节丢失。

10.根据权利要求9所述的一种基于MRF区域选择的多曝光度图像融合方法,其特征在于,所述A4中解泊松方程中有Ax=b,所述A是一个稀疏矩阵且由‑1、4和0组成;所述b是由图像边界元素组成的列向量,边界元素采用投票方法选择相应图像的边界,且tvote为60%;当图像分成的小块大小为100×100时,tcons为8000。