利索能及
我要发布
收藏
专利号: 202310251085X
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-21
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于离散注意力机制的图像去雨方法,其特征在于,包括:采集监测区域的实时监测图像,将实时监测图像输入至训练好的信息蒸馏去雨网络模型,对实时监测图像去除雨纹特征获得输出图像;

所述信息蒸馏去雨网络模型的训练过程包括:获取包含雨纹特征的图像作为训练样本,建立训练样本集S;基于离散注意力单元和信息蒸馏单元,构建离散注意力信息蒸馏网络模块;将多空间卷积池化网络模块、长短期记忆网络模块和离散注意力信息蒸馏网络模块串联,构建信息蒸馏去雨网络模型;

利用训练样本集S对信息蒸馏去雨网络模型进行训练并输出训练结果的方法包括:将训练样本集S中的训练样本输入多空间卷积池化网络模块进行多尺度信息的提取,获得图像特征信息Xa;将图像特征信息Xa输入至长短期记忆网络模块提取有效特征,增加有效特征权重获得图像特征信息Xb;

将图像特征信息Xb输入至离散注意力信息蒸馏网络模块进行跨通道融合和深度特征提取,获得训练结果的方法包括:将图像特征信息Xb输入离散注意力单元,对所述图像特征信息Xb进行分割,并通过 个卷积核进行处理形成单元特征图;

对单元特征图进行特征融合,表达公式为:

;

公式中, 表示为单元特征图; 表示为离散注意力单元输出的特征图;k表示为多空间卷积池化网络模块中空洞卷积层的次序;

将离散注意力单元输出的特征图 输入至7个信息蒸馏单元,表达公式为:;

公式中, 表示第n个信息蒸馏模块的第j个卷积层函数,n的取值范围为1至7,j的取值范围为1至4; 表示为第n个信息蒸馏模块的输入特征图;当n=1时, 为离散注意力单元输出的特征图 ; 表示第n个信息蒸馏模块的第j个信道分裂层函数;

代表第n个信息蒸馏模块输出的第m个细化特征, 代表第n个信息蒸馏模块输出的第j个粗特征;

对第4个信息蒸馏模块输出的各细化特征进行组合形成训练结果;

基于训练结果和训练样本对应的基准干净图像构建损失函数,利用损失函数对信息蒸馏去雨网络模型的参数进行优化迭代,重复迭代直至达到设定的最大迭代次数输出训练好的信息蒸馏去雨网络模型。

2.根据权利要求1所述的一种基于离散注意力机制的图像去雨方法,其特征在于,获取包含雨纹特征的图像作为训练样本的方法包括:由Rain100H合成图像数据库选择N张包含雨纹特征的合成图像,对合成图像切割翻转获得设定尺寸的包含雨纹特征的图像,并作为训练样本。

3.根据权利要求1所述的一种基于离散注意力机制的图像去雨方法,其特征在于,多空间卷积池化网络模块包括一个图像输入层和四个空洞卷积层;所述图像输入层包括自适应平均池化层和 的卷积层;所述四个空洞卷积层的卷积核大小设置为 ,四个空洞卷积层的膨胀率依次增大。

4.根据权利要求3所述的一种基于离散注意力机制的图像去雨方法,其特征在于,将训练样本集S中的训练样本输入多空间卷积池化网络模块进行多尺度信息的提取,获得图像特征信息Xa的方法包括:将训练样本输入至多空间卷积池化网络,通过多空间卷积池化网络中的图像输入层对训练样本上采样,然后分别采用四个空洞卷积进行特征提取获得四个特征信息,将所述四个特征信息组合获得图像特征信息Xa。

5.根据权利要求4所述的一种基于离散注意力机制的图像去雨方法,其特征在于,空洞卷积层计算公式为:;

公式中, 表示为空洞卷积层输出的特征信息; 表示为输入空洞卷积层的特征图; 表示为过滤函数;r表示为设定的步幅;k表示为空洞卷积层的次序;K表示为空洞卷积层的数量。

6.根据权利要求1所述的一种基于离散注意力机制的图像去雨方法,其特征在于,基于训练结果和训练样本对应的基准干净图像构建损失函数,表示公式为:;

公式中,SSIM(x,y)表示为训练结果和基准干净图像损失函数;x表示为训练结果;y表示为训练样本对应的基准干净图像; 表示为训练结果的平均值; 表示为基准干净图像的平均值; 表示为训练结果的标准差; 表示为基准干净图像的标准差; 表示为训练结果和对应的基准干净图像的协方差。

7.一种基于离散注意力机制的图像去雨系统,其特征在于,包括:去雨模块,用于采集监测区域的实时监测图像,将实时监测图像输入至训练好的信息蒸馏去雨网络模型,对实时监测图像去除雨纹特征获得输出图像;

获取模块,用于获取包含雨纹特征的图像作为训练样本,建立训练样本集S;

模型构建模块,用于基于离散注意力单元和信息蒸馏单元,构建离散注意力信息蒸馏网络模块;将多空间卷积池化网络模块、长短期记忆网络模块和离散注意力信息蒸馏网络模块串联,构建信息蒸馏去雨网络模型;

模型训练模块,用于利用训练样本集S对信息蒸馏去雨网络模型进行训练并输出训练结果;基于训练结果和训练样本对应的基准干净图像构建损失函数,利用损失函数对信息蒸馏去雨网络模型的参数进行优化迭代,重复迭代直至达到设定的最大迭代次数输出训练好的信息蒸馏去雨网络模型;

模型训练模块利用训练样本集S对信息蒸馏去雨网络模型进行训练并输出训练结果的方法包括:将训练样本集S中的训练样本输入多空间卷积池化网络模块进行多尺度信息的提取,获得图像特征信息Xa;将图像特征信息Xa输入至长短期记忆网络模块提取有效特征,增加有效特征权重获得图像特征信息Xb;

将图像特征信息Xb输入至离散注意力信息蒸馏网络模块进行跨通道融合和深度特征提取,获得训练结果的方法包括:将图像特征信息Xb输入离散注意力单元,对所述图像特征信息Xb进行分割,并通过 个卷积核进行处理形成单元特征图;

对单元特征图进行特征融合,表达公式为:

;

公式中, 表示为单元特征图; 表示为离散注意力单元输出的特征图;k表示为多空间卷积池化网络模块中空洞卷积层的次序;

将离散注意力单元输出的特征图 输入至7个信息蒸馏单元,表达公式为:;

公式中, 表示第n个信息蒸馏模块的第j个卷积层函数,n的取值范围为1至7,j的取值范围为1至4; 表示为第n个信息蒸馏模块的输入特征图;当n=1时, 为离散注意力单元输出的特征图 ; 表示第n个信息蒸馏模块的第j个信道分裂层函数;

代表第n个信息蒸馏模块输出的第m个细化特征, 代表第n个信息蒸馏模块输出的第j个粗特征;

对第4个信息蒸馏模块输出的各细化特征进行组合形成训练结果。

8.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至权利要求6任一项所述图像去雨方法的步骤。