利索能及
我要发布
收藏
专利号: 2024100777733
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于互补感知跨视图融合网络的伪装目标检测方法,其特征在于,包括以下步骤:步骤1,获取图像数据,将图像数据进行预处理,将预处理之后的图像数据划分为训练集和测试集;

步骤2,构建跨视图融合网络,包括:

首先,利用两个并行的特征编码器提取输入图片的前景语义特征和背景语义特征,再利用卷积分别对前景语义特征和背景语义特征进行通道压缩;然后,分别利用金字塔式解码器对通道压缩后的前景语义特征和背景语义特征进行初始特征学习,生成初始前景语义f b图Fi、初始背景语义图Bi、初始前景预测图P和初始背景预测图P;随后,利用跨视图融合模块对不同语义图之间进行交互融合,生成跨视图特征融合图 最后,使用渐进解码器将逐渐融合,生成最终预测图;

步骤3,利用图像数据训练集对跨视图融合网络进行训练,生成训练完成后的伪装目标检测模型;

步骤4,采集待检测图像,对待检测图像进行预处理,将预处理后的待检测图像输入至训练完成后的伪装目标检测模型中,生成当前伪装目标的检测结果;

跨视图融合模块包括4个子模块SCFi,每个子模块SCFi包括原始语义引导模块O‑GM、背景语义引导模块B‑GM、前景语义引导模块F‑GM和总语义引导模块T‑GM;

原始语义引导模块O‑GM,用于将初始前景语义图和初始背景语义图通过LCI融合模块进行融合,生成特征图 数学模型表达式为:背景语义引导模块B‑GM,用于将初始背景预测图和初始前景语义图相乘,生成特征图′ ′Fi,并将Fi和Bi送入LCI融合模块进行融合,生成特征图 数学模型表达式为:′ b

Fi=Fi⊙P

其中,⊙表示为逐元素相乘;

f

前景语义引导模块F‑GM,用于将初始前景预测图p与初始背景语义图Bi相乘,生成特征′ ′图Bi,并将Bi和Fi送入LCI融合模块进行融合,从而增强背景特征图中前景语义的权重,生成特征图 数学模型表达式为:′ f

Bi=Bi⊙P

i i

总语义引导模块T‑GM,用于探索当F和B包含丰富的前景和背景语义时被分割的伪装对象,将Fi送入卷积‑归一化‑激活函数relu层和激活函数sigmoid层,随后将生成的特征图和Bi相乘,并继续送入卷积‑归一化‑激活函数relu层,生成Fi分支新的特征图;将Bi送入卷积‑归一化‑激活函数relu层和激活函数sigmoid层,随后将生成的特征图和Fi相乘,生成Bi分支新的特征图,然后将Fi和Bi两个分支新生成的特征图逐元素相乘,和Fi连接Bi生成的特征图一起送到LCI融合模块,生成特征图 数学模型表达式为:′

Fi=CBR(Sigmoid(CBR(Fi))⊙Bi)′

Bi=CBR(Sigmoid(CBR(Bi))⊙Fi)其中,CBR表示堆叠的Conv‑BN‑ReLU层,Sigmoid表示激活函数sigmoid层,Ф表示通道连接操作,i=1,2,3,4;

将特征图 和 沿通道连接在一起,生成特征图 作为每一个SCFi模块的输出项;

在利用LCI融合模块进行特征融合时,首先沿着channel维度将两个输入特征各分成4组,两个输入分组的通道块彼此连接;然后,将连接的通道块送入卷积‑归一化‑激活函数层,并与下一层的通道块相连接;最后,四个通道块经过连接和卷积‑归一化‑激活函数relu层的特征图一起连接,并送入卷积‑归一化‑激活函数relu层得到Ai。

2.根据权利要求1所述的基于互补感知跨视图融合网络的伪装目标检测方法,其特征在于,利用两个并行的特征编码器提取输入图片的前景语义特征和背景语义特征,再利用卷积分别对前景语义特征和背景语义特征进行通道压缩包括:每个特征编码器均包括四层的Block块,在前景分支中利用特征编码器提取输入彩色′图片的前景语义特征,再将前景语义特征输入至卷积层,生成特征图Di;

在背景分支中利用特征编码器提取输入彩色图片的背景语义特征,再将背景语义特征′输入至卷积层,生成特征图Ei。

3.根据权利要求2所述的基于互补感知跨视图融合网络的伪装目标检测方法,其特征在于,分别利用金字塔式解码器对通道压缩后的前景语义特征和背景语义特征进行初始特征学习包括:′

在前景分支中,特征图D4通过卷积‑归一化‑激活函数relu层生成特征图D4″,随后将D4″′分别输入至卷积‑归一化‑激活函数relu层,生成前景语义特征图F4,以及输入至与D3逐元素相加,生成D3″;D3″分别输入至一个卷积‑归一化‑激活函数relu层,生成前景语义特征图′F3,以及输入至另一个卷积‑归一化‑激活函数relu层并与D2相加,生成D2″;D2″分别输入至一个卷积‑归一化‑激活函数relu层,生成前景语义特征图F2,以及输入至另一个卷积‑归一′化‑激活函数relu层并与D1 相加,生成得到D1″;D1″分别输入至一个卷积‑归一化‑激活函数relu层,生成前景语义特征图F1,以及输入至另一个卷积‑归一化‑激活函数relu层后又输f入至卷积层,生成初始前景预测图P;

在背景分支中,特征图E4通过卷积‑归一化‑激活函数relu层生成特征图E4″,随后将E4″′分别输入至卷积‑归一化‑激活函数relu层,生成前景语义特征图B4,以及输入至与E3逐元素相加,生成E3″;E3″分别输入至一个卷积‑归一化‑激活函数relu层,生成前景语义特征图′B3,以及输入至另一个卷积‑归一化‑激活函数relu层并与E2相加,生成E2″;E2″分别输入至一个卷积‑归一化‑激活函数relu层,生成前景语义特征图B2,以及输入至另一个卷积‑归一′化‑激活函数relu层并与E1 相加,生成得到E1″;E1″分别输入至一个卷积‑归一化‑激活函数relu层,生成前景语义特征图B1,以及输入至另一个卷积‑归一化‑激活函数relu层后又输b入至卷积层,生成初始前景预测图P。

4.根据权利要求3所述的基于互补感知跨视图融合网络的伪装目标检测方法,其特征在于,使用渐进解码器将 逐渐融合,生成最终预测图包括:将特征图 输入至一个卷积‑归一化‑激活函数relu层后,与特征图 相加后,再输入至一个卷积‑归一化‑激活函数relu层,与特征图 相加,再输入至一个卷积‑归一化‑激活函数relu层,与特征图 相加,最后输入至一个卷积‑归一化‑激活函数relu层和卷积层后,生成通道数为1的黑白预测图。

5.根据权利要求1‑4中任一项所述的基于互补感知跨视图融合网络的伪装目标检测方f b法,其特征在于,在步骤3训练过程中,初始前景预测图P由GT监督,初始背景预测图P由1‑GT监督,生成最终预测图由GT监督;监督的损失函数均为降低权重IOU函数和权重二元交叉熵函数相加;其中GT表示真实结果图片,1‑GT表示真实背景图片。

6.根据权利要求1所述的基于互补感知跨视图融合网络的伪装目标检测方法,其特征在于,步骤1中的图像数据包括伪装图像数据、非伪装图像数据和背景图像数据,图像数据来源COD数据集。