利索能及
我要发布
收藏
专利号: 2022102802285
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种非均匀运动模糊超分辨图像复原方法,其特征在于,包括如下步骤:S1、构建数据集

S1‑1、计算互补性最大的图像的旋转角度;

S1‑2、获取具有高度互补性的高分辨模糊图像及高分辨清晰图像;

S1‑3、图像预处理构建数据集;

S2、将预处理的数据集输入至生成器得到初步复原图像;

S3、通过鉴别器判别初步复原图像和真实图像,得到判别结果,鉴别器为马尔科夫判别网络;

S4、利用损失函数对生成对抗网络进行优化,得到性能最优的网络结果,得到最佳复原图像,所述生成对抗网络包括生成器和鉴别器;

S5、输出复原结果。

2.根据权利要求1所述的一种非均匀运动模糊超分辨图像复原方法,其特征在于,所述步骤S1‑1包括如下子步骤:S1‑1‑1、设置非均匀运动模糊图像获取装置,在目标物体与相机直接设置旋转棱镜,其中目标物体、旋转棱镜和相机在同一光轴上;

S1‑1‑2、目标物体光束经旋转棱镜后进入相机镜头,每将棱镜旋转一度获取一张图像,共获取360张原始图像;

S1‑1‑3、对360张原始图像进行预处理,并计算得到互补性最大的图像组合及其旋转角度。

3.根据权利要求2所述的一种非均匀运动模糊超分辨图像复原方法,其特征在于,所述步骤S1‑1‑3包括:

1)利用MATLAB将360张原始图像进行高斯滤波;

2)用模糊图像减去高斯滤波后的原始图像即可得到模糊图像的高频分量hi,hi=yi‑G0*yi其中yi是模糊图像,G0是二维高斯滤波卷积算子;

3)获取模糊图像高频分量hi的水平和垂直方向上的梯度图像,计算公式为:hdix=hi*dx hdiy=hi*dy i=1、2

4)获取模糊图像的全局梯度图像hdi,计算公式为:

5)对模糊图像的全局梯度图像hdi进行二值化操作,从而获取模糊图像互补性的有效特征Ti=(x,y):其中,ki为二值化阈值;

进行二值化操作时,我们首先采用Ostu算法计算原始图像的最佳阈值,Ostu算法假设图像是由前景区域和背景区域两部分组成的,通过遍历计[0,255]区间范围下分割结果中前景区域和背景区域的灰度直方图,然后比较两者之间的方差,使得方差最大化的那个灰度阈值即为所求二值化阈值ki;

根据原始图像的最佳阈值进行调整,对模糊图像的梯度图像进行归一化操作,阈值的选取范围一般设置为ki∈[0.2,0.5];

2

6)将得到的360张模糊图像的二值图像两两组合,共有360 种组合方式,得到它们的二值图像,分别求出每种组合方式的互补性,其互补性公式为:其中T(A)和T(B)分别是模糊图像的二值图像,M和N是图像的长和宽,利用MATLAB最终得到互补性最大的图像组合及其旋转角度。

4.根据权利要求3所述的一种非均匀运动模糊超分辨图像复原方法,其特征在于,所述步骤S1‑2中,获取具有高度互补性的高分辨模糊图像及高分辨清晰图像方法为:S1‑2‑1、监测目标物体的运动状态;

S1‑2‑2、当监测到目标物体运动时,相机拍摄多帧清晰图片,进而控制旋转棱镜旋转至互补性最大的旋转角度,在旋转棱镜转动完成后,相机拍摄非均匀运动模糊图像;

S1‑2‑3、最终,可拍摄得到互补高分辨模糊图像和多帧高分辨清晰图像,保留全部互补模糊图像和最后一帧的高分辨清晰图像。

5.根据权利要求1所述的一种非均匀运动模糊超分辨图像复原方法,其特征在于,所述步骤S1‑3中,将获取的具有高度互补性的高分辨模糊图像对进行二倍下采样,得到具有高度互补性的低分辨模糊图像,高分辨清晰图像和低分辨模糊图像对集合成数据集。

6.根据权利要求5所述的一种非均匀运动模糊超分辨图像复原方法,其特征在于,所述数据集包括获取的1000张高分辨清晰图像和1000对相应的低分辨模糊图像,清晰图像分辨率为1280×1024,低分辨模糊图像分辨率为640×512。

7.根据权利要求1所述的一种非均匀运动模糊超分辨图像复原方法,其特征在于,所述生成器由感知损失函数、对抗损失函数、边缘损失函数和MSE损失函数联合优化得到,所述联合优化的损失函数为:L=Ladv+Lp+Ledge+LMSE。

8.根据权利要求7所述的一种非均匀运动模糊超分辨图像复原方法,其特征在于,所述步骤S4中的优化方法为:通过边缘损失函数度量初步复原图像与清晰图像之间的边缘特征的不同,边缘损失函数为:其中S和G(b)分别为真实的清晰图像和初步复原图像,W和H为图像的长和宽, 和分别是沿水平方向和垂直方向的梯度运算;

通过MSE损失函数进行优化,MSE损失函数为:

其中L和S分别为初步复原图像和真实的清晰图像,N为S和L的元素数;

通过感知损失函数、对抗损失函数进行优化,感知损失函数度量生成的初步复原图像和对应真实的清晰图像特征之间的整体差异,对抗损失函数使得生成的高质量图像与真实的清晰图像不易区分,感知损失函数公式为:

对抗损失函数公式为:

其中,IB表示输入的模糊图像,由于网络输入是两张具有高度互补性到的模糊图像,所以将两张图像融合作为IB,IS为真实清晰图像,G表示生成器,D表示判别器,N表示一个批次训练图像的数量。

9.一种非均匀运动模糊超分辨图像复原装置,其特征在于,包括图像采集机构、存储器、处理器以及存储在存储器中并可在处理器上执行权利要求1‑8任意一项所述非均匀运动模糊超分辨图像复原方法的计算机程序。

10.根据权利要求9所述的一种非均匀运动模糊超分辨图像复原装置,其特征在于,所述图像采集机构包括分光镜、运动感知传感器、旋转棱镜、高速相机和第一控制器和第二控制器,所述高速相机包括镜头和快门,所述旋转棱镜分别置于分光镜透射和反射光路上且共轴设置,所述第一控制器和第二控制器为单片机STM32,所述第一控制器和第二控制器分别接收传感器传递的信号,所述第一控制器连接在高速相机的快门上,控制快门动作,所述第二控制器连接在两面旋转棱镜上,控制棱镜的转动,第一控制器和第二控制器协同工作。