利索能及
我要发布
收藏
专利号: 202410400553X
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像大气湍流消除方法,其特征在于,包括如下步骤:

搭建光场成像装置,通过所述光场成像装置采集目标物体的目标图像;

在所述光场成像装置前放置热源装置来搭建湍流模拟场景,并对所述光场成像装置进行优化,在湍流模拟场景中通过优化后光场成像装置采集目标物体的湍流图像,并通过优化后光场成像装置采集波前信息;

基于自注意力机制构建初始湍流图像重建网络,通过所述目标图像、所述湍流图像和所述波前信息对所述初始湍流图像重建网络进行训练,得到湍流图像重建网络,构建总损失函数,通过所述总损失函数对所述湍流图像重建网络进行优化,得到优化湍流图像重建网络;

通过所述优化湍流图像重建网络对待重建湍流图像进行重建,得到重建目标图像;

所述基于自注意力机制构建初始湍流图像重建网络,具体为:

通过细化块、n个编码块和n个解码块构建初始湍流图像重建网络,包括:在输入端,将n个编码块逐一连接,并将首个编码块与输入端端口连接,将最后一个编码块与细化块的输入连接;

在输出端,将n个解码块逐一连接,并将所述细化块的输出与首个解码块连接,最后一个解码块与输出端端口连接;

将首个编码块的输出与最后一个解码块的输入连接,以及将第二个编码块的输出与第n‑1个解码块的输入连接,以此类推,构建初始湍流图像重建网络;

所述通过所述目标图像、所述湍流图像和所述波前信息对所述初始湍流图像重建网络进行训练,得到湍流图像重建网络,具体为:通过所述首个编码块对所述目标图像、所述湍流图像和所述波前信息进行特征提取,将提取的特征图分别输入所述第二个编码块与所述最后一个解码块中,所述第二个编码块至第n‑1个编码块均对上一个编码块提取的特征图进行特征提取,并将对应提取的特征图分别输入对应的下一个编码块与对应的解码块中,所述最后一个编码块对所述第n‑1个编码块提取的特征图进行特征提取,将提取的特征图分别输入所述细化块与所述首个解码块中;

通过所述细化块对所述最后一个编码块提取的特征图进行纹理细化操作,将细化的特征图输入所述首个解码块中;

通过所述首个解码块对所述最后一个编码块提取的特征图和所述细化块细化的特征图进行特征恢复操作,将恢复的特征图输入第二个解码块中,所述第二个解码块至所述最后一个解码块均对上一个解码块恢复的特征图与对应的编码块提取的特征图进行特征恢复操作,所述最后一个解码块经特征恢复操作后得到初始重建目标图像,并将所述初始重建目标图像输出至输出端端口,完成训练,得到湍流图像重建网络;

所述编码块均包括编码卷积层、编码自注意力机制模块、编码池化层和编码前向反馈层;

所述通过所述首个编码块对所述目标图像、所述湍流图像和所述波前信息进行特征提取,具体为:通过所述编码卷积层对所述波前信息进行计算,得到退化算子,根据所述退化算子提取由所述目标图像退化为所述湍流图像的湍流特征,根据所述湍流特征对所述湍流图像进行重建,得到局部重建特征图,通过所述编码自注意力机制模块对所述局部重建特征图进行加权求和,得到编码加权特征图,通过所述编码池化层对所述编码加权特征图进行下采样操作,通过所述编码前向反馈层对下采样的特征图进行残差连接;

所述解码块均包括解码卷积层、解码自注意力机制模块、解码池化层和解码前向反馈层;

所述通过所述首个解码块对所述最后一个编码块提取的特征图和所述细化块细化的特征图进行特征恢复操作,具体为:通过所述解码卷积层对所述最后一个编码块下采样的特征图和所述细化块细化的特征图进行融合处理,得到解码融合特征图,通过所述解码自注意力机制模块对所述解码融合特征图进行加权求和,得到解码加权特征图,通过所述解码池化层对所述解码加权特征图进行上采样操作,通过所述解码前向反馈层对上采样的特征图进行残差连接;

所述总损失函数由重建损失函数、湍流估计损失函数和缩放参数构建而成;

所述通过所述总损失函数对所述湍流图像重建网络进行优化,得到优化湍流图像重建网络,具体为:通过所述重建损失函数表达式对所述初始重建目标图像与所述目标图像进行计算,得到重建损失,所述重建损失函数表达式为:其中,L0为重建损失函数, 为初始重建目标图像,I为目标图像;

通过所述退化算子对所述目标图像进行湍流退化,得到预估湍流图像,通过所述湍流估计损失函数表达式对所述预估湍流图像与所述湍流图像进行计算,得到湍流估计损失,所述湍流估计损失函数表达式为:其中,L1为湍流估计损失函数, 为预估湍流图像,为湍流图像;

通过总损失函数表达式对所述重建损失和所述湍流估计损失进行计算,得到总损失,所述总损失函数表达式为:L=L0+αL1,

其中,L为总损失函数,α为缩放参数;

通过所述总损失对所述湍流图像重建网络进行迭代优化,得到优化湍流图像重建网络。

2.根据权利要求1所述的图像大气湍流消除方法,其特征在于,所述光场成像装置包括原始向列相液晶复合微透镜阵列;

所述搭建光场成像装置步骤之前还包括:

通过对原始向列相液晶复合微透镜阵列施加不同的电压,改变所述原始向列相液晶复合微透镜阵列中液晶分子的排列,得到各个电压对应的焦距,根据所有电压与其对应的焦距构建成像关系模型。

3.根据权利要求2所述的图像大气湍流消除方法,其特征在于,所述搭建光场成像装置,具体为:通过所述成像关系模型对所述原始向列相液晶复合微透镜阵列进行变压计算,得到第一电压,对所述原始向列相液晶复合微透镜阵列施加所述第一电压,得到向列相液晶复合微透镜阵列,通过所述向列相液晶复合微透镜阵列和基础成像部件搭建光场成像装置。

4.根据权利要求3所述的图像大气湍流消除方法,其特征在于,所述对所述光场成像装置进行优化,具体为:通过所述成像关系模型对所述向列相液晶复合微透镜阵列进行变压计算,得到第二电压,对所述向列相液晶复合微透镜阵列施加所述第二电压,得到优化向列相液晶复合微透镜阵列,将所述光场成像装置的所述向列相液晶复合微透镜阵列替换为所述优化向列相液晶复合微透镜阵列,得到优化后光场成像装置。

5.根据权利要求4所述的图像大气湍流消除方法,其特征在于,所述优化后光场成像装置包括波前传感器,所述波前传感器由沿成像路径依次布置的所述优化向列相液晶复合微透镜阵列和光电探测器CCD组成,其中,所述优化向列相液晶复合微透镜阵列由多个优化向列相液晶复合微透镜组成;

所述通过优化后光场成像装置采集波前信息,具体为:

在采集所述湍流图像时,入射光波照射到多个所述优化向列相液晶复合微透镜上,分别通过多个所述优化向列相液晶复合微透镜将入射光波聚焦成多个对应的光斑,并将多个对应的光斑照射在焦平面上;

通过所述光电探测器CCD采集焦平面上的多个光斑,并计算每个光斑的中心位置,通过波前复原算法对每个光斑的中心位置进行计算,得到波前信息。

6.根据权利要求5所述的图像大气湍流消除方法,其特征在于,所述通过波前复原算法对每个光斑的中心位置进行计算,得到波前信息,具体为:分别将每个光斑的中心位置与预先采集的对应理论中心位置进行计算,得到多个对应的偏移量,其中,所述偏移量包括x轴的偏移分量和y轴的偏移分量;

通过波前斜率表达式对多个x轴的偏移分量进行计算,得到多个对应的x轴的子波前斜率,通过波前斜率表达式对多个y轴的偏移分量进行计算,得到多个对应的y轴的子波前斜率,所述波前斜率表达式为:Sx=Δx/f,

Sy=Δy/f,

其中,Sx为x轴的子波前斜率,Sy为x轴的子波前斜率,Δx为x轴的偏移分量,Δy为y轴的偏移分量,f为优化向列相液晶复合微透镜阵列的焦距;

通过积分计算表达式对多个所述子波前斜率进行积分,得到波前信息,所述积分计算表达式为:Φ(x,y)=∫Sx(x,y)dx+∫Sy(x,y)dy,

其中,Φ(x,y)为波前信息。

7.一种图像大气湍流消除系统,其特征在于,包括:

数据采集单元,用于搭建光场成像装置,通过所述光场成像装置采集目标物体的目标图像,在所述光场成像装置前放置热源装置来搭建湍流模拟场景,并对所述光场成像装置进行优化,在湍流模拟场景中通过优化后光场成像装置采集目标物体的湍流图像,并通过优化后光场成像装置采集波前信息;

构建网络单元,用于基于自注意力机制构建初始湍流图像重建网络,通过所述目标图像、所述湍流图像和所述波前信息对所述初始湍流图像重建网络进行训练,得到湍流图像重建网络,构建总损失函数,通过所述总损失函数对所述湍流图像重建网络进行优化,得到优化湍流图像重建网络;

重建单元,用于通过所述优化湍流图像重建网络对待重建湍流图像进行重建,得到重建目标图像;

所述基于自注意力机制构建初始湍流图像重建网络,具体为:

通过细化块、n个编码块和n个解码块构建初始湍流图像重建网络,包括:在输入端,将n个编码块逐一连接,并将首个编码块与输入端端口连接,将最后一个编码块与细化块的输入连接;

在输出端,将n个解码块逐一连接,并将所述细化块的输出与首个解码块连接,最后一个解码块与输出端端口连接;

将首个编码块的输出与最后一个解码块的输入连接,以及将第二个编码块的输出与第n‑1个解码块的输入连接,以此类推,构建初始湍流图像重建网络;

所述通过所述目标图像、所述湍流图像和所述波前信息对所述初始湍流图像重建网络进行训练,得到湍流图像重建网络,具体为:通过所述首个编码块对所述目标图像、所述湍流图像和所述波前信息进行特征提取,将提取的特征图分别输入所述第二个编码块与所述最后一个解码块中,所述第二个编码块至第n‑1个编码块均对上一个编码块提取的特征图进行特征提取,并将对应提取的特征图分别输入对应的下一个编码块与对应的解码块中,所述最后一个编码块对所述第n‑1个编码块提取的特征图进行特征提取,将提取的特征图分别输入所述细化块与所述首个解码块中;

通过所述细化块对所述最后一个编码块提取的特征图进行纹理细化操作,将细化的特征图输入所述首个解码块中;

通过所述首个解码块对所述最后一个编码块提取的特征图和所述细化块细化的特征图进行特征恢复操作,将恢复的特征图输入第二个解码块中,所述第二个解码块至所述最后一个解码块均对上一个解码块恢复的特征图与对应的编码块提取的特征图进行特征恢复操作,所述最后一个解码块经特征恢复操作后得到初始重建目标图像,并将所述初始重建目标图像输出至输出端端口,完成训练,得到湍流图像重建网络;

所述编码块均包括编码卷积层、编码自注意力机制模块、编码池化层和编码前向反馈层;

所述通过所述首个编码块对所述目标图像、所述湍流图像和所述波前信息进行特征提取,具体为:通过所述编码卷积层对所述波前信息进行计算,得到退化算子,根据所述退化算子提取由所述目标图像退化为所述湍流图像的湍流特征,根据所述湍流特征对所述湍流图像进行重建,得到局部重建特征图,通过所述编码自注意力机制模块对所述局部重建特征图进行加权求和,得到编码加权特征图,通过所述编码池化层对所述编码加权特征图进行下采样操作,通过所述编码前向反馈层对下采样的特征图进行残差连接;

所述解码块均包括解码卷积层、解码自注意力机制模块、解码池化层和解码前向反馈层;

所述通过所述首个解码块对所述最后一个编码块提取的特征图和所述细化块细化的特征图进行特征恢复操作,具体为:通过所述解码卷积层对所述最后一个编码块下采样的特征图和所述细化块细化的特征图进行融合处理,得到解码融合特征图,通过所述解码自注意力机制模块对所述解码融合特征图进行加权求和,得到解码加权特征图,通过所述解码池化层对所述解码加权特征图进行上采样操作,通过所述解码前向反馈层对上采样的特征图进行残差连接;

所述构建网络单元中,总损失函数由重建损失函数、湍流估计损失函数和缩放参数构建而成;

所述通过所述总损失函数对所述湍流图像重建网络进行优化,得到优化湍流图像重建网络,具体为:通过所述重建损失函数表达式对所述初始重建目标图像与所述目标图像进行计算,得到重建损失,所述重建损失函数表达式为:其中,L0为重建损失函数, 为初始重建目标图像,I为目标图像;

通过所述退化算子对所述目标图像进行湍流退化,得到预估湍流图像,通过所述湍流估计损失函数表达式对所述预估湍流图像与所述湍流图像进行计算,得到湍流估计损失,所述湍流估计损失函数表达式为:其中,L1为湍流估计损失函数, 为预估湍流图像,为湍流图像;

通过总损失函数表达式对所述重建损失和所述湍流估计损失进行计算,得到总损失,所述总损失函数表达式为:L=L0+αL1,

其中,L为总损失函数,α为缩放参数;

通过所述总损失对所述湍流图像重建网络进行迭代优化,得到优化湍流图像重建网络。