利索能及
我要发布
收藏
专利号: 2023100468881
申请人: 西南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-23
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度细化的室内场景图像实时语义分割方法,其特征在于:包括如下步骤:

S1:处理系统获取室内场景数据集,将该数据集划分为训练集和验证集;

S2:处理系统对训练集预处理和数据增强,加深训练集对现实场景的拟合度;

S3:构建轻量级分类网络STDC模块作为实时语义分割网络编码器,该网络编码器在不同阶段生成不同分辨率网络特征图;

S4:构建双边金字塔池化模块以及特征对齐金字塔模块作为实时语义分割网络解码器;

S5:构建多尺度细节优化模块;

将网络编码器第三阶段特征图以及特征对齐模块的结果输入多尺度细节优化模块,进行自适应阈值学习,得到近似二值图;

将近似二值图与细节标签计算损失并反向传播,优化多尺度目标的细节提取效果;

S6:特征对齐金字塔模块最后阶段所得特征图上采样8倍,输入至分割模块,得到分割预测图,将分割预测图与真实标签计算损失后反向传播,更新网络,得到训练模型;

S7:将训练得到的模型转换为ONNX,进而转换为TensorRT和NCNN,便于部署在GPU以及边缘设备芯片端;

S8:将测试集图像输入至网络得到推理结果;

在构建多尺度细节优化模块中为准确区分目标细节与背景,细节优化模块设计两条分支,一个分支学习概率图P,另一个分支学习阈值图T,最后通过如下可微分二值化操作,将概率图转换为近似二值图B作为细节的预测;

细节标签通过使用拉普拉斯卷积核的二维卷积与1x1卷积生成,真实标签经过不同步长的拉普拉斯卷积后,生成不同尺度的细节特征图,上采样至原图大小后,由1x1卷积层实现融合,其中k为缩放因子;

最后,设置阈值为0.1,将细节特征图转换为细节二值图作为细节标签,将细节预测图与细节标签计算损失后反向传播,实现多尺度目标的细化。

2.根据权利要求1所述一种基于多尺度细化的室内场景图像实时语义分割方法,其特征在于:在所述S3中,每个STDC模块包含五个Block,Block1含有一个1x1卷积层、一个批归一层以及一个非线性激活层;

Block2、Block3、Block4包含一个3x3卷积层,一个批归一层、一个非线性层;

STDC模块在Block1中通过1x1卷积调整输出特征图大小,并在后续的Block中,特征图通道数依次减少,降低通道冗余;

在模块输出前,Block1、Block2、Block3与Block4的特征图按通道方向拼接得到模块输出特征图。

3.根据权利要求2所述一种基于多尺度细化的室内场景图像实时语义分割方法,其特征在于:所述双边金字塔池化模块包括多尺度信息分支和全局上下文信息分支组成;多尺度信息分支由三个最大池化层串联而成;

全局上下文分支由三个自适应全局平均池化层并联而成,分别将特征图下采样至4x4,

2x2以及1x1大小;

多尺度信息分支与全局上下文分支内部各层之间均采用分层残差的方式相融合,并在两分支的输出将分支内部各层相加,最后将两分支结果拼接得到双边金字塔池化模块的输出。

4.根据权利要求1所述一种基于多尺度细化的室内场景图像实时语义分割方法,其特征在于:所述特征对齐金字塔模块由特征对齐模块与特征选取模块组成;

特征选取模块使用SE模块对编码器该阶段的特征图进行特征选取;

特征对齐模块的输入分为两部分,其一是特征选取模块的结果,再者是将解码器上一阶段的输出上采样2倍得到 后与特征选取模块结果 的拼接;特征对齐模块通过可形变卷积将两个输入对齐,提升高低维特征融合时的效果;特征对齐模块首先利用一个卷积核大小为3x3,输出通道数为18的卷积层fo求得上一阶段特征图与特征选取模块结果的偏移量Δi,再由一个普通卷积fa调整特征选取模块结果,得到对齐结果

5.根据权利要求1所述一种基于多尺度细化的室内场景图像实时语义分割方法,其特征在于:所述分割模块由一个卷积核大小为3x3,步距为1的卷积层,一个批归一层,一个非线性激活层以及一个1x1卷积层组成;

1x1卷积层将输出特征图通道数调整为类别数,得到模型的分割预测图。