利索能及
我要发布
收藏
专利号: 2024105246552
申请人: 济南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于CNN和Transformer的车辆图像增强方法,其特征在于,包括以下步骤:S1、获取车辆监控摄像头视频,每秒对摄像头进行抽帧,获得车辆待检测图像;

S2、构建特征调制Transformer模块,输入图像特征到该模块,图像特征通过L个交叉精炼融合块学习深层特征,交叉精炼融合块由提取高频信息的高频增强残差块、捕获全局信息的矩形窗口注意力块、以及精炼全局表示的混合融合块组成,在最后一个交叉精炼融合块之后,使用一个3×3的卷积层聚合特征,并在其输出与图像特征之间建立残差连接,便于训练图像特征,并进行输出;

S21、高频增强残差块由局部特征提取分支和高频增强分支组成,如果输入图像特征为Fin,将Fin分成两部分 然后由两个分支分别处理,对于局部特征提取分支,使用3×3卷积层和GELU激活函数来提取局部高频特征

Conv3×3表示3×3卷积层,fa()表示GELU激活函数,对于高频增强分支,采用最大池化层从输入特征 中提取高频信息,然后使用1×1卷积层和GELU激活函数来增强高频特征MaxPooling()表示最大池化层,然后将两个分支

的输出进行连接,连接后的结果通过1×1卷积层彻底融合信息,同时,为了使网络从多尺度信息中获益并保持训练的稳定性,引入了残差连接,Concat()表示连接操作;

S22、对于矩形窗口注意力块,给定一个输入Xin,将其划分为 个矩形窗口,其中rh和rw指矩形窗口的高度和宽度,为了捕捉不同轴向的信息,使用了两种矩形窗口:水平窗口和垂直窗口,因此,将Xin分成 两部分,并分别计算自注意力值,然后,将两个结果进行连接,并使用多层感知器进行特征转换,整个过程可表述为V‑Rwin和H‑Rwin表示垂直和水平矩形窗口注意力,MLP表示多层感知操作;

S23、混合融合块为了更好地整合高频增强残差块和矩形窗口注意力块的优点,对于高频增强残差块的输出XH,首先使用1×1卷积层来降低特征图的通道数,然后使用3×3深度卷积层生成高频Query,对于矩形窗口注意力块的输出XS,首先通过批归一化层对特征进行归一化处理,然后使用与Query相同的操作得到Key和Value,对Query、Key、Value进行自注意力计算,将计算结果与XS进行残差连接,得到输出XHFB,整个过程可表述为XHFB=Inter‑Atten(Conv3×3(Conv1×1(LN(XS))),Conv3×3(Conv1×1(XH)))+XS,Inter‑Atten代表自注意力计算,XHFB作为下一个交叉精炼融合块的输入学习深层特征,在最后一个交叉精炼融合块之后,使用一个3×3的卷积层聚合特征,并在其输出与图像特征之间建立残差连接;

S3、构建车辆图像增强模型,模型由浅层特征提取模块、特征调制Transformer模块、重构模块组成;

S4、将车辆图像输入进车辆图像增强模型,获得超分辨率车辆图像。