利索能及
我要发布
收藏
专利号: 2021109537479
申请人: 广西科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-09-26
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习模型的逐级交互式轮廓识别方法,其特征在于包括以下步骤:A、构建深度神经网络结构,深度神经网络结构具体如下:编码网络、解码网络;

其中,编码网络为VGG16网络,池化层为分界线分为S1、S2、S3、S4、S5五个阶段;

所述的解码网络分为四级,每一级中均分别设有子解码网络M和子解码网络N;

第一级的子解码网络M和子解码网络N中均设有4个融合模块R,第二级的子解码网络M和子解码网络N中均设有3个融合模块R,第三级的子解码网络M和子解码网络N中均设有2个融合模块R,第四级的子解码网络M和子解码网络N中均设有1个融合模块R;

B、原始图像输入VGG16网络中,依次经五个阶段卷积处理;

C、VGG16网络的S1、S2、S3、S4、S5五个阶段中的第一卷积层的卷积结果分别输入子解码th网络M中,依次经过四级融合处理,获得融合结果4 I1;

VGG16网络的S1、S2、S3、S4、S5五个阶段中的第二卷积层的卷积结果分别输入子解码网th络N中,依次经过四级融合处理,获得融合结果4 I2;

th th

D、将融合结果4 I1和融合结果4 I2通过加法层融合得到最终输出轮廓;

所述的融合模块R包括1×1卷积层、上采样层、3×3卷积层、加法层;

上层的输入信息经1×1卷积层处理后,获得相应的上层卷积结果;其中1×1卷积层的通道数与上层的输入信息的通道数一致;

下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;其中3×3卷积层的通道数与上层的输入信息的通道数一致;

上层卷积结果与下层卷积结果相加融合后输出;

VGG16网络的五个阶段中的第一卷积层的卷积结果分别输入第一级的子解码网络M中;

在第一级的子解码网络M中:

S1阶段的第一卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S2阶段的第一卷积层的卷积结果I2输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结果与下层卷积结果相加融合后,得到融合结果st

1 I1,输出至第二级的子解码网络M中;

S2阶段的第一卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S3阶段的第一卷积层的卷积结果输入第二个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获st得相应的下层卷积结果;该上层卷积结果与下层卷积结果相加融合后,得到融合结果1Ⅱ1,输出至第二级的子解码网络N中;

S3阶段的第一卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获st得相应的下层卷积结果;该上层卷积结果与下层卷积结果相加融合后,得到融合结果1Ⅲ1,输出至第二级的子解码网络M中;

S4阶段的第一卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S5阶段的第一卷积层的卷积结果输入第四个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结果S11与下层卷积结果S21相加融合后,得到融合结st果1 Ⅳ1,输出至第二级的子解码网络N中;

VGG16网络的五个阶段中的第二卷积层的卷积结果分别输入第一级的子解码网络N中;

在第一级的子解码网络N中:

S1阶段的第二卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S2阶段的第二卷积层的卷积结果输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获st得相应的下层卷积结果;该上层卷积结果与下层卷积结果相加融合后,得到融合结果1 I2,输出至第二级的子解码网络N中;

S2阶段的第二卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S3阶段的第二卷积层的卷积结果输入第二个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获st得相应的下层卷积结果;该上层卷积结果与下层卷积结果相加融合后,得到融合结果1Ⅱ2,输出至第二级的子解码网络M中;

S3阶段的第二卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获st得相应的下层卷积结果;该上层卷积结果与下层卷积结果相加融合后,得到融合结果1Ⅲ2,输出至第二级的子解码网络N中;

S4阶段的第二卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后,获得上层卷积结果;S5阶段的第二卷积层的卷积结果输入第四个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获st得相应的下层卷积结果;该上层卷积结果与下层卷积结果相加融合后,得到融合结果1Ⅳ2,输出至第二级的子解码网络M中;

在第二级的子解码网络M中:

st

融合结果1 I1输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融合st结果1 Ⅱ2输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结nd果与下层卷积结果相加融合后,得到融合结果2 I1,输出至第三级的子解码网络M中;

st

融合结果1 Ⅱ2输入第二个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融st合结果1 Ⅲ1输入第二个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积nd结果与下层卷积结果相加融合后,得到融合结果2 Ⅱ1,输出至第二级的子解码网络N中;

st

融合结果1 Ⅲ1输入第三个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融st合结果1 Ⅳ2输入第三个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积nd结果与下层卷积结果相加融合后,得到融合结果2 Ⅲ1,输出至第二级的子解码网络M中;

在第二级的子解码网络N中:

st

融合结果1 I2输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融合st结果1 Ⅱ1输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结nd果与下层卷积结果相加融合后,得到融合结果2 I2,输出至第二级的子解码网络N中;

st

融合结果1 Ⅱ1输入第二个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融st合结果1 Ⅲ2输入第二个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积nd结果与下层卷积结果相加融合后,得到融合结果2 Ⅱ2,输出至第二级的子解码网络M中;

st

融合结果1 Ⅲ2输入第三个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融st合结果1 Ⅳ1输入第三个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积nd结果与下层卷积结果相加融合后,得到融合结果2 Ⅲ2,输出至第二级的子解码网络N中;

在第三级的子解码网络M中:

nd

融合结果2 I1输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融合nd结果2 Ⅱ2输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结rd果与下层卷积结果相加融合后,得到融合结果3 I1,输出至第三级的子解码网络M中;

nd

融合结果2 Ⅱ2输入第二个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融nd合结果2 Ⅲ1输入第二个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积rd结果与下层卷积结果相加融合后,得到融合结果3 Ⅱ1,输出至第二级的子解码网络N中;

在第三级的子解码网络N中:

nd

融合结果2 I2输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融合nd结果2 Ⅱ1输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结rd果与下层卷积结果相加融合后,得到融合结果3 I2,输出至第二级的子解码网络N中;

nd

融合结果2 Ⅱ1输入第二个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融nd合结果2 Ⅲ2输入第二个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积rd结果与下层卷积结果相加融合后,得到融合结果3 Ⅱ2,输出至第二级的子解码网络M中;

在第四级的子解码网络M中:

rd

融合结果3 I1输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融合rd结果3 Ⅱ2输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结th果与下层卷积结果相加融合后,得到融合结果4 I1,输出至第三级的子解码网络M中;

在第三级的子解码网络N中:

rd

融合结果3 I2输入第一个融合模块R中的1×1卷积层处理后,获得上层卷积结果;融合rd结果3 Ⅱ1输入第一个融合模块R中的上采样层,在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后,经3×3卷积层处理,获得相应的下层卷积结果;该上层卷积结th果与下层卷积结果相加融合后,得到融合结果4 I2,输出至第二级的子解码网络N中;

th th

融合结果4 I1与融合结果4 I2通过加法层融合得到最终输出轮廓。

2.如权利要求1所述的基于深度学习模型的逐级交互式轮廓识别方法,其特征在于:所述的VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得。