利索能及
我要发布
收藏
专利号: 202011526580X
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种雨后真实图像中雨滴去除方法,其特征在于,包括:获取历史雨后真实图像;

根据所述历史雨后真实图像构建融合长短时记忆模型、空间注意力机制以及残差块的递归注意残差网络;

获取待去雨的雨后真实图像,并利用所述递归注意残差网络对所述待去雨的雨后真实图像进行处理,生成去雨后的雨后真实图像;

基于图像增强理论,利用雨滴检测及滤波算法滤除所述去雨后的雨后真实图像中的残留雨滴,确定滤除后的雨后真实图像;

基于计算机图形学理论,利用像素值转换算法对所述滤除后的雨后真实图像进行处理,确定像素点增强后的雨后真实图像。

2.根据权利要求1所述的雨后真实图像中雨滴去除方法,其特征在于,所述根据所述历史雨后真实图像构建融合长短时记忆模型、空间注意力机制以及残差块的递归注意残差网络,具体包括:

将所述历史雨后真实图像输入至所述长短时记忆模型中,并对所述长短时记忆模型进行6次递归训练,生成训练好后的长短时记忆模型,提取雨滴特征;

向所述训练好的长短时记忆模型中引入空间注意力机制,强化所述雨滴特征,确定强化后的雨滴特征;

采用残差块区分所述强化后的雨滴特征以及历史非雨滴特征,构建融合长短时记忆模型、空间注意力机制以及残差块的递归注意残差网络。

3.根据权利要求1所述的雨后真实图像中雨滴去除方法,其特征在于,所述基于图像增强理论,利用雨滴检测及滤波算法滤除所述去雨后的雨后真实图像中的残留雨滴,确定滤除后的雨后真实图像,具体包括:以所述去雨后的雨后真实图像中的各个像素点为中心像素点,提取每个所述中心像素点相邻的5×5邻域作为滤波窗口;

计算所述中心像素点的亮度与所述5×5邻域内各个像素点的亮度的亮度差值,并将所计算的24个亮度差值组合为第一集合;

根据所述第一集合中各个亮度差值的位置关系,反向求解所述第一集合中各个亮度差值在[11,62]区间对应的像素点,确定第二集合;

若所述第二集合非空,确定所述第二集合中的像素点为雨滴像素点;

若所述第二集合为空,确定所述第一集合中各个元素在[11,62]区间对应的像素点为非雨滴像素点;

滤除所述非雨滴像素点,确定滤除后的雨后真实图像。

4.根据权利要求3所述的雨后真实图像中雨滴去除方法,其特征在于,所述确定所述第一集合中各个元素在[11,62]区间对应的像素点为雨滴像素点,之后还包括:根据公式 将第二集合中像素点的平均像素值替换所述去雨后的雨后图像中各个像素点的像素值;其中,pij为去雨后的雨后图像中各个像素点,i为像素点pij对应的横坐标,j为像素点pij对应的纵坐标;I(pij)为pij的像素值;

Φ为第一集合;Γ为第二集合;ptm为第二集合中各个亮度差值在[11,62]区间对应的像素点,t为像素点ptm对应的横坐标,m为像素点ptm对应的纵坐标;I(ptm)为ptm的像素值。

5.根据权利要求1所述的雨后真实图像中雨滴去除方法,其特征在于,所述基于计算机图形学理论,利用像素值转换算法对所述滤除后的雨后真实图像进行处理,确定像素点增强后的雨后真实图像,具体包括:计算所述滤除后的雨后真实图像中任一个像素点的3×3的邻域内的局部均值和局部标准差;

根据所述局部均值和局部标准差确定像素点增强后的雨后真实图像。

6.根据权利要求5所述的雨后真实图像中雨滴去除方法,其特征在于,所述根据所述局部均值和局部标准差确定像素点增强后的雨后真实图像,具体包括:根据公式 确定像素点增强后的雨后真实图像;其中, 为所述滤除后的雨后真实图像中的像素点; 为 的像素值;

为局部均值; 为局部标准差。

7.一种雨后真实图像中雨滴去除系统,其特征在于,包括:历史雨后真实图像获取模块,用于获取历史雨后真实图像;

递归注意残差网络构建模块,用于根据所述历史雨后真实图像构建融合长短时记忆模型、空间注意力机制以及残差块的递归注意残差网络;

去雨后的雨后真实图像生成模块,用于获取待去雨的雨后真实图像,并利用所述递归注意残差网络对所述待去雨的雨后真实图像进行处理,生成去雨后的雨后真实图像;

滤除后的雨后真实图像确定模块,用于基于图像增强理论,利用雨滴检测及滤波算法滤除所述去雨后的雨后真实图像中的残留雨滴,确定滤除后的雨后真实图像;

增强后的雨后真实图像确定模块,用于基于计算机图形学理论,利用像素值转换算法对所述滤除后的雨后真实图像进行处理,确定像素点增强后的雨后真实图像。

8.根据权利要求7所述的雨后真实图像中雨滴去除系统,其特征在于,所述递归注意残差网络构建模块,具体包括:

雨滴特征提取单元,用于将所述历史雨后真实图像输入至所述长短时记忆模型中,并对所述长短时记忆模型进行6次递归训练,生成训练好后的长短时记忆模型,提取雨滴特征;

强化单元,用于向所述训练好的长短时记忆模型中引入空间注意力机制,强化所述雨滴特征,确定强化后的雨滴特征;

递归注意残差网络构建单元,用于采用残差块区分所述强化后的雨滴特征以及历史非雨滴特征,构建融合长短时记忆模型、空间注意力机制以及残差块的递归注意残差网络。

9.根据权利要求7所述的雨后真实图像中雨滴去除系统,其特征在于,所述滤除后的雨后真实图像确定模块,具体包括:滤波窗口提取单元,用于以所述去雨后的雨后真实图像中的各个像素点为中心像素点,提取每个所述中心像素点相邻的5×5邻域作为滤波窗口;

第一集合确定单元,用于计算所述中心像素点的亮度与所述5×5邻域内各个像素点的亮度的亮度差值,并将所计算的24个亮度差值组合为第一集合;

第二集合确定单元,用于根据所述第一集合中各个亮度差值的位置关系,反向求解所述第一集合中各个亮度差值在[11,62]区间对应的像素点,确定第二集合;

雨滴像素点确定单元,用于若所述第二集合非空,确定所述第二集合中的像素点为雨滴像素点;

非雨滴像素点确定单元,用于若所述第二集合为空,确定所述第一集合中各个元素在[11,62]区间对应的像素点为非雨滴像素点;

滤除后的雨后真实图像确定单元,用于滤除所述非雨滴像素点,确定滤除后的雨后真实图像。

10.根据权利要求9所述的雨后真实图像中雨滴去除系统,其特征在于,还包括:像素值替换单元,用于根据公式 将第二集合中像素点的平均像素值替换所述去雨后的雨后图像中各个像素点的像素值;其中,pij为去雨后的雨后图像中各个像素点,i为像素点pij对应的横坐标,j为像素点pij对应的纵坐标;I(pij)为pij的像素值;Φ为第一集合;Γ为第二集合;ptm为第二集合中各个亮度差值在[11,

62]区间对应的像素点,t为像素点ptm对应的横坐标,m为像素点ptm对应的纵坐标;I(ptm)为ptm的像素值。