利索能及
我要发布
收藏
专利号: 202210803057X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合稀疏框架和空间注意力的实时实例分割方法,采用构建的实例分割网络对图像进行实例分割,其特征在于,所述实例分割网络包括特征提取网络、特征增强网络、掩码分支和实例分支,所述融合稀疏框架和空间注意力的实时实例分割方法,包括:获取待处理图像,输入到特征提取网络提取多尺度特征图;

将多尺度特征图输入到特征增强网络,得到增强的特征图;

将增强的特征图输入到实例分支,得到目标框和目标分类;

将增强的特征图与实例分支输出的目标框进行拼接后输入到掩码分支,首先经过卷积操作,然后分别经过空间注意力模块和掩码核生成模块,得到空间注意力特征和掩码核,将空间注意力特征和掩码核相乘得到分割掩码;

将分割掩码、目标框和目标分类映射到待处理图像上,得到实例分割结果;

其中,所述特征提取网络采用ResNet50,将所述ResNet50中残差模块3、4和5的输出作为提取到的第三尺度特征图、第二尺度特征和第一尺度特征图;

所述将多尺度特征图输入到特征增强网络,得到增强的特征图,包括:将第一尺度特征图输入到金字塔池化模块,输出第一特征图;

将第二尺度特征图与第一特征图进行元素相加后得到第二特征图;

将第三尺度特征图与第二特征图进行元素相加后得到第三特征图;

将所述第一特征图、第二特征图和第三特征图分别经过卷积操作后拼接得到增强的特征图。

2.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法,其特征在于,所述将增强的特征图输入到实例分支,得到目标框和目标分类,包括:初始化建议框和建议特征;

将增强的特征图通过区域特征聚焦提取感兴趣特征;

将感兴趣特征和建议特征输入到动态卷积头,生成最终的目标框和目标分类。

3.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法,其特征在于,所述空间注意力模块,执行如下操作:将输入的特征图进行通道维度上的最大值池化与平均池化得到池化之后的特征Pmax和Pavg,之后将Pmax与Pavg进行点积后通过一个3×3的卷积,再进行sigmoid操作后与原输入的特征图进行相乘得到空间注意力特征。

4.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法,其特征在于,所述掩码核生成模块,执行如下操作:对输入的特征图通过线性层调整维度,生成128维的掩码核。

5.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法,其特征在于,在训练所述实例分割网络时,所述将增强的特征图输入到实例分支,得到目标框和目标分类,还包括:引入交并比IoU来调整目标分类概率,公式如下:

其中, 为调整后的目标分类概率,Si表示交并比IoU,Pi表示目标框i对应的目标分类概率。

6.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法,其特征在于,在训练所述实例分割网络时,网络整体损失函数如下:其中, 表示目标分类损失, 表示掩码损失, 表示标框损失,λcls为权重系数;

其中, 和 为骰子损失和像素级二进制交叉熵损失,λdice和λpix为对应的权重系数。