利索能及
我要发布
收藏
专利号: 2024103892841
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种可见光至近红外高光谱图像重构方法,其特征在于,包括如下步骤:

通过液晶微透镜阵列和基础成像部件搭建光场成像装置,通过所述光场成像装置对目标场景进行图像采集,得到初始光场图像和初始偏振图像;

基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型,基于transformer架构构建补偿网络;

通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构,生成高光谱图像;

构建反向设计网络,通过所述反向设计网络对所述高光谱图像进行反向预测,得到液晶微透镜阵列参数,所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数,并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置;

通过所述优化光场成像装置对目标场景进行图像采集,得到光场图像和偏振图像,通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构,生成可见光至近红外高光谱图像;

所述基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型,具体为:

通过卷积神经网络构建初始数字棱镜模型,所述初始数字棱镜模型包括用于并行处理数据的卷积层和归一化层;

基于波动光学理论模拟光通过棱镜的传播过程,得到棱镜相位变化函数、入射波前函数和出射波前函数,通过所述棱镜相位变化函数、所述入射波前函数和所述出射波前函数对所述卷积层进行改进,得到由光谱卷积核组成的光谱卷积层,并将所述光谱卷积层替换所述卷积层,最终得到数字棱镜模型;

所述通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构,生成高光谱图像,具体为:通过所述光谱卷积层对所述初始光场图像进行光谱特征提取,生成初始光谱特征图,通过所述归一化层对所述初始偏振图像进行纹理特征提取,得到归一化层的缩放系数与偏置项,将所述缩放系数与所述偏置项加入到所述初始光谱特征图中,生成初始高光谱图像;

通过所述补偿网络对所述初始高光谱图像进行优化,生成高光谱图像;

所述基于transformer架构构建补偿网络,具体为:

将自注意力模块、残差模块和横向规范化层依次连接,得到transformer层;

所述transformer架构包括五个transformer层、两个下采样层和两个上采样层,构建补偿网络的过程为:将第一transformer层与第一下采样层连接,将所述第一下采样层与第二transformer层连接,将所述第二transformer层与第二下采样层连接,将所述第二下采样层与第三transformer层连接,将所述第三transformer层与第一上采样层连接,将所述第一上采样层与第四transformer层连接,将所述第四transformer层与第二上采样层连接,将所述第二上采样层与第五transformer层连接,最终得到补偿网络;

所述通过所述补偿网络对所述初始高光谱图像进行优化,生成高光谱图像,具体为:通过所述第一transformer层对所述初始高光谱图像进行向量特征提取,得到第一光谱特征图,通过所述第一下采样层对所述第一光谱特征图进行下采样操作,通过所述第二transformer层对第一下采样层得到的特征图进行向量特征提取,得到第二光谱特征图,通过所述第二下采样层对所述第二光谱特征图进行下采样操作,通过所述第三transformer层对第二下采样层得到的特征图进行向量特征提取,得到第三光谱特征图,通过所述第一上采样层对所述第三光谱特征图进行上采样操作,通过所述第四transformer层对第一上采样层得到的特征图进行向量特征提取,得到第四光谱特征图,通过所述第二上采样层对所述第四光谱特征图进行上采样操作,所述第五transformer层对第二上采样层得到的特征图进行向量特征提取,得到高光谱图像,其中,每层transformer层对输入的图像的处理过程为:通过自注意力模块对输入的图像进行加权求和,得到光谱权重特征图像,通过残差模块对所述光谱权重特征图像进行残差特征提取,得到光谱残差特征图像,通过横向规范化层对所述光谱残差特征图像进行标准化处理,得到每层transformer层对应的光谱特征图。

2.根据权利要求1所述的可见光至近红外高光谱图像重构方法,其特征在于,所述基础成像部件包括偏振片,所述通过所述光场成像装置对目标场景进行图像采集,得到初始光场图像和初始偏振图像,具体为:S1、对所述光场成像装置的所述液晶微透镜阵列加载电压,对目标场景进行图像采集,得到光场数据;

S2、将所述偏振片放置在所述液晶微透镜阵列前,对目标场景进行图像采集,得到偏振数据,判断是否完成预设的电压加载次数,若未完成,调整电压,并返回S1,若完成,执行S3;

S3、将所有的光场数据进行融合操作,得到初始光场图像,并将所有的偏振数据进行融合操作,得到初始偏振图像。

3.根据权利要求1所述的可见光至近红外高光谱图像重构方法,其特征在于,所述基于波动光学理论模拟光通过棱镜的传播过程,得到棱镜相位变化函数、入射波前函数和出射波前函数,具体为:基于波动光学理论模拟光通过棱镜的传播过程,推导得到棱镜相位变化函数和入射波前函数,所述棱镜相位变化函数为:,

所述入射波前函数为:

其中, 表示棱镜相位变化函数,表示出射光的波长,n表示棱镜的折射系

数, 表示在x轴方向的出射角度, 表示在y轴方向的出射角度, 表示入射波前函数, 表示振幅,s表示物体到棱镜的距离;

通过所述棱镜相位变化函数和所述入射波前函数构建出射波前函数,所述出射波前函数为:,

其中, 表示出射波前函数。

4.根据权利要求1所述的可见光至近红外高光谱图像重构方法,其特征在于,还包括对所述反向设计网络进行预训练的步骤:通过液晶微透镜阵列的透过率公式对所述液晶微透镜阵列的参数进行计算,得到仿真数据集,所述液晶微透镜阵列的透过率公式为:,

其中,t(x,y)表示透过率,表示液晶光轴与偏光器透射轴之间的夹角, d表示液晶层的厚度, 表示普通光的折射, 表示特殊光的折射率;

通过所述仿真数据集对反向设计网络进行正向训练。

5.根据权利要求1所述的可见光至近红外高光谱图像重构方法,其特征在于,所述通过所述反向设计网络对所述高光谱图像进行反向预测,得到液晶微透镜阵列参数,具体为:从所述高光谱图像中提取光谱响应曲线,并通过所述反向设计网络对所述光谱响应曲线进行梯度反向传播,得到液晶微透镜阵列参数。

6.一种可见光至近红外高光谱图像重构系统,其特征在于,包括:采集单元、构建单元、预重构单元、优化单元和重构单元;

所述采集单元,用于通过液晶微透镜阵列和基础成像部件搭建光场成像装置,通过所述光场成像装置对目标场景进行图像采集,得到初始光场图像和初始偏振图像;

所述构建单元,用于基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型,基于transformer架构构建补偿网络;

所述预重构单元,用于通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构,生成高光谱图像;

所述优化单元,用于构建反向设计网络,通过所述反向设计网络对所述高光谱图像进行反向预测,得到液晶微透镜阵列参数,所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数,并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置;

所述重构单元,用于通过所述优化光场成像装置对目标场景进行图像采集,得到光场图像和偏振图像,通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构,生成可见光至近红外高光谱图像;

所述构建单元中,所述基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型,具体为:通过卷积神经网络构建初始数字棱镜模型,所述初始数字棱镜模型包括用于并行处理数据的卷积层和归一化层;

基于波动光学理论模拟光通过棱镜的传播过程,得到棱镜相位变化函数、入射波前函数和出射波前函数,通过所述棱镜相位变化函数、所述入射波前函数和所述出射波前函数对所述卷积层进行改进,得到由光谱卷积核组成的光谱卷积层,并将所述光谱卷积层替换所述卷积层,最终得到数字棱镜模型;

所述预重构单元,具体用于:

通过所述光谱卷积层对所述初始光场图像进行光谱特征提取,生成初始光谱特征图,通过所述归一化层对所述初始偏振图像进行纹理特征提取,得到归一化层的缩放系数与偏置项,将所述缩放系数与所述偏置项加入到所述初始光谱特征图中,生成初始高光谱图像;

通过所述补偿网络对所述初始高光谱图像进行优化,生成高光谱图像;

所述构建单元中,所述基于transformer架构构建补偿网络,具体为:

将自注意力模块、残差模块和横向规范化层依次连接,得到transformer层;

所述transformer架构包括五个transformer层、两个下采样层和两个上采样层,构建补偿网络的过程为:将第一transformer层与第一下采样层连接,将所述第一下采样层与第二transformer层连接,将所述第二transformer层与第二下采样层连接,将所述第二下采样层与第三transformer层连接,将所述第三transformer层与第一上采样层连接,将所述第一上采样层与第四transformer层连接,将所述第四transformer层与第二上采样层连接,将所述第二上采样层与第五transformer层连接,最终得到补偿网络;

所述预重构单元中,所述通过所述补偿网络对所述初始高光谱图像进行优化,生成高光谱图像,具体为:通过所述第一transformer层对所述初始高光谱图像进行向量特征提取,得到第一光谱特征图,通过所述第一下采样层对所述第一光谱特征图进行下采样操作,通过所述第二transformer层对第一下采样层得到的特征图进行向量特征提取,得到第二光谱特征图,通过所述第二下采样层对所述第二光谱特征图进行下采样操作,通过所述第三transformer层对第二下采样层得到的特征图进行向量特征提取,得到第三光谱特征图,通过所述第一上采样层对所述第三光谱特征图进行上采样操作,通过所述第四transformer层对第一上采样层得到的特征图进行向量特征提取,得到第四光谱特征图,通过所述第二上采样层对所述第四光谱特征图进行上采样操作,所述第五transformer层对第二上采样层得到的特征图进行向量特征提取,得到高光谱图像,其中,每层transformer层对输入的图像的处理过程为:通过自注意力模块对输入的图像进行加权求和,得到光谱权重特征图像,通过残差模块对所述光谱权重特征图像进行残差特征提取,得到光谱残差特征图像,通过横向规范化层对所述光谱残差特征图像进行标准化处理,得到每层transformer层对应的光谱特征图。