利索能及
我要发布
收藏
专利号: 2021109331527
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种独立解码和联合解码相结合的RGB‑T图像显著目标检测方法,其特征在于,所述方法包括以下步骤:S1、从RGB‑T图像中提取RGB特征和Thermal特征,产生RGB初始显著图及Thermal初始显著图;

S2、通过RGB初始显著图及Thermal初始显著图分别对所述RGB特征和Thermal特征进行增强,形成RGB增强特征和Thermal增强特征;

S3、分别对RGB增强特征和Thermal增强特征进行独立解码,产生RGB独立解码特征和c tThermal独立解码特征及独立解码显著图S和S;

S4、对所述RGB独立解码特征和Thermal独立解码特征进行初步融合,形成RGB‑T融合特征;

S5、对RGB‑T融合特征进行联合解码,形成联合解码显著图S;

c t

S6、利用显著图真值监督所述独立解码显著图S和S、所述联合解码显著图S,通过训练数据集的训练,形成RGB‑T图像显著目标检测模型;

S7、利用所述RGB‑T图像显著目标检测模型检测任意一张RGB‑T图像,经过步骤S1‑S5,输出联合解码显著图为检测结果。

2.根据权利要求1所述的一种独立解码和联合解码相结合的RGB‑T图像显著目标检测方法,其特征在于,所述步骤S1的具体过程为:分别使用两个在ImageNet上预训练的SegFormer神经网络模型提取RGB特征 及Thermal特征 其中i表示层数,对应于SegFormer的层数,i取值为1至4的自然数;接着,分别对所述第四层RGB特征 和Thermal特征 进行1×1卷积、Sigmoid激活函数处理得到RGB初始显著图 及Thermal初始显著图 具体描述为:所述l∈{c,t},表示RGB或者Thermal,Conv1(·)表示1×1卷积操作,Sig(·)表示Sigmoid激活函数。

3.根据权利要求1所述的一种独立解码和联合解码相结合的RGB‑T图像显著目标检测方法,其特征在于,所述步骤S2的具体过程为:将RGB初始显著图及Thermal初始显著图上采样到与 一样大小,然后与各层特征 进行逐元素相乘、逐元素相加,形成RGB增强特征 和Thermal增强特征同时,第四层RGB增强特征 和Thermal增强特征 即为第四层RGB特征 和Thermal特征具体描述为:所述l∈{c,t},表示RGB或者Thermal,up(·)表示上采样操作,“×”是指逐元素相乘操作,“+”是指逐元素相加操作。

4.根据权利要求1所述的一种独立解码和联合解码相结合的RGB‑T图像显著目标检测方法,其特征在于,所述步骤S3的具体过程为:使用传统的U‑Net解码结构,分别对RGB增强特征和Thermal增强特征进行独立解码,具体操作是:第四层RGB独立解码特征和Thermal独立解码特征 即为第四层RGB增强特征和Thermal增强特征 其余各层RGB独立解码特征和Thermal独立解码特征 为相邻高一层RGB独立解码特征和Thermal独立解码特征 经过上采样后与本层RGB增强特

征和Thermal增强特征 进行级联,再经过3×3卷积、批归一化、ReLU操作产生,具体描述为:

所述l∈{c,t},表示RGB或者Thermal,up(·)表示上采样操作,Concat(·)表示级联操作,BConv3(·)表示3×3卷积、批归一化、ReLU操作;

接着,使用第一层RGB独立解码特征 和Thermal独立解码特征 产生独立解码显著c t图S和S,具体描述为:

所述l∈{c,t},表示RGB或者Thermal,Conv1(·)表示1×1卷积操作,Sig(·)表示Sigmoid激活函数,up(·)表示上采样操作。

5.根据权利要求1所述的一种独立解码和联合解码相结合的RGB‑T图像显著目标检测方法,其特征在于,所述步骤S5的具体过程为:第四层RGB‑T融合特征FF4即为增强融合特征JF4,其余每层RGB‑T融合特征FFi(i=1,2,3)要与比它层数高的RGB‑T融合特征进行逐元素相乘来加强本层特征,形成增强融合特征JFi(i=1,2,3);为了确保分辨率大小一致,高层RGB‑T融合特征要进行上采样、卷积、批归一化、ReLU处理,具体描述为:所述up(·)表示上采样操作,BConv3(·)表示3×3卷积、批归一化、ReLU操作,“×”是指逐元素相乘操作;

增强融合特征JFi(i=1,…,4)使用传统的U‑Net解码结构进行解码,具体操作如下:第四层联合解码特征P4即为增强融合特征JF4,其余每层联合解码特征Pi(i=1,2,3)为相邻高一层联合解码特征Pi+1(i=1,2,3)经上采样后,与本层增强融合特征JFi(i=1,2,3)进行级联,再经过3×3卷积、批归一化、ReLU操作产生,具体描述为:所述Concat(·)表示级联操作,up(·)表示上采样操作,BConv3(·)表示3×3卷积、批归一化、ReLU操作;

接着,通过上采样、3×3卷积、批归一化、ReLU操作、上采样、1×1卷积和Sigmoid激活函数产生联合解码显著图S,具体描述为:S=Sig(Conv1(up(BConv3(up(P1)))))

所述up(·)表示上采样操作,BConv3(·)表示3×3卷积、批归一化、ReLU操作,Conv1(·)表示1×1卷积操作,Sig(·)表示Sigmoid激活函数。