利索能及
我要发布
收藏
专利号: 2022100471080
申请人: 湖南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种语义分割网络构建方法,应用于自动驾驶中的数据识别与图像处理领域,其特征在于包括如下步骤:S1.基于卷积、批量标准化和激活函数,构建短期连接单元;具体包括如下步骤:采用如下步骤构建A类短期连接单元:

A类短期连接单元包括A类级联结构、A类分支结构和通道随机混合操作层;A类级联结构用于特征提取;A类分支结构用于获取每一个特征提取块的全局上下文信息,防止网络退化;A类分支结构与A类级联结构并联;A类分支结构的结果与A类级联结构的结果求和后,再通过通道随机混合操作层进行通道随机混合操作,得到A类短期连接单元的输出;

A类级联结构包括四个Conx结构层和一个连接层,四个Conx结构层和一个连接层依次串联;同时第一个Conx结构层的第二输出端、第二个Conx结构层的第二输出端、第三个Conx结构层的第二输出端和第四个Conx结构层的第二输出端均同时连接连接层;每一个Conx结构层均包括卷积、批标准化和激活函数;第一个Conx结构层的卷积核为1*1,卷积核个数为N/2,卷积步长为1;第二个Conx结构层的卷积核为3*3,卷积核个数为N/4,卷积步长为1;第三个Conx结构层的卷积核为3*3,卷积核个数为N/8,卷积步长为1;第四个Conx结构层的卷积核为3*3,卷积核个数为N/8,卷积步长为1;N为输出通道数;

A类分支结构包括三个Conx结构层,三个Conx结构层依次串联;每一个Conx结构层均包括卷积、批标准化和激活函数;第一个Conx结构层的卷积核为1*1,卷积核个数为N/4,卷积步长为1;第二个Conx结构层的卷积核为3*3,卷积核个数为N/4,卷积步长为1;第三个Conx结构层的卷积核为1*1,卷积核个数为N,卷积步长为1;N为输出通道数;

采用如下步骤构建B类短期连接单元:

B类短期连接单元包括B类级联结构、B类分支结构和通道随机混合操作层;B类级联结构用于特征提取;B类分支结构用于获取每一个特征提取块的全局上下文信息,防止网络退化;通道随机混合操作层用于提升通道之间的信息交互;B类分支结构与B类级联结构并联;

B类分支结构的结果与B类级联结构的结果求和后,再通过通道随机混合操作层进行通道随机混合操作,得到B类短期连接单元的输出;

B类级联结构包括四个Conx结构层、一个连接层和一个平均池化层,四个Conx结构层和一个连接层依次串联;第一个Conx结构层的第二输出端连接平均池化层;同时平均池化层的输出端、第二个Conx结构层的第二输出端、第三个Conx结构层的第二输出端和第四个Conx结构层的第二输出端均同时连接连接层;每一个Conx结构层均包括卷积、批标准化和激活函数;第一个Conx结构层的卷积核为1*1,卷积核个数为N/2,卷积步长为1;第二个Conx结构层的卷积核为3*3,卷积核个数为N/4,卷积步长为2;第三个Conx结构层的卷积核为3*

3,卷积核个数为N/8,卷积步长为1;第四个Conx结构层的卷积核为3*3,卷积核个数为N/8,卷积步长为1;N为输出通道数;

B类分支结构包括一个平均池化层和三个Conx结构层,一个平均池化层和三个Conx结构层依次串联;每一个Conx结构层均包括卷积、批标准化和激活函数;第一个Conx结构层的卷积核为1*1,卷积核个数为N/4,卷积步长为1;第二个Conx结构层的卷积核为3*3,卷积核个数为N/4,卷积步长为1;第三个Conx结构层的卷积核为1*1,卷积核个数为N,卷积步长为

1;N为输出通道数;

S2.采用步骤S1构建的短期连接单元和卷积进行堆叠得到编码器;具体包括如下步骤:编码器包括五层;五层依次串联;

第一层为卷积层,卷积核为3*3,卷积步长为2,输出通道数为32,输出分辨率为384*

768;

第二层为卷积层,卷积核为3*3,卷积步长为2,输出通道数为64,输出分辨率为192*

384;

第三层为第一短期连接单元堆叠层,包括串联的五个短期连接单元;其中第一短期连接单元为B类短期连接单元,第二短期连接单元~第五短期连接单元为A类短期连接单元;

第三层的卷积步长为2,输出通道数为256,分辨率为96*192;

第四层为第二短期连接单元堆叠层,包括串联的六个短期连接单元;其中第一短期连接单元为B类短期连接单元,第二短期连接单元~第六短期连接单元为A类短期连接单元;

第四层的卷积步长为2,输出通道数为512,分辨率为48*96;

第五层为第三短期连接单元堆叠层,包括串联的四个短期连接单元;其中第一短期连接单元为B类短期连接单元,第二短期连接单元~第四短期连接单元为A类短期连接单元;

第五层的卷积步长为2,输出通道数为1024,分辨率为24*48;

S3.构建像素级注意力模块;具体包括如下步骤:

像素注意力模块用于将重点放在所注意的目标像素上,增强目标像素的权重,从而到达丰富高级特征图的目的;

采用如下算式计算像素级注意力模块的输出Xproc:

Xproc=Fr(Xwmap×Fr(Xpre))

式中Fr( )为reshape操作;Xwamp为第一中间特征图,Xpre为第二中间特征图,Xwmap=δ(Fr(Xpre×Er(Xpre))), XIn为输入特征图且通道数为c,尺寸为h*w;Xln′为对输入特征图XIn的外侧进行尺度为1的全1填充后的特征图; 为标准卷积操作,卷积核的大小为3*3,步长为1,d为空洞率;δ为sigmoid激活函数;BN()为批量标准化操作;

S4.对编码器的输出结果和像素级注意力模块的输出结果进行上采样,从而构建解码器;具体包括如下步骤:编码器的第五层的输出通过像素级注意力模块处理得到第五层处理输出值;将第五层处理输出值进行2倍上采样,作为解码器的第四层;

编码器的第四层的输出通过像素级注意力模块处理得到第四层处理输出值;第四层处理输出值与解码器的第四层输出值相加后,再进行2倍上采样,作为解码器的第三层;

解码器的第三层的输出值与编码器的第三层的输出值相加,后再进行2倍上采样,作为解码器的第二层;

解码器的第二层的输出值与编码器的第二层的输出值相加,后再进行4倍上采样,作为解码器的输出值;

S5.结合步骤S2得到的编码器和和步骤S4得到的解码器,构建得到语义分割网络;

S6.构建基于高斯‑拉普拉斯算子的细节引导模块,用于对语义分割网络进行训练;

S7.完成语义分割网络的构建。

2.根据权利要求1所述的语义分割网络构建方法,其特征在于步骤S6所述的构建基于高斯‑拉普拉斯算子的细节引导模块,具体包括如下步骤:将人工标记完成的图像,输入高斯‑拉普拉斯卷积进行处理,得到细节标记图像;

计算细节标记图像与预测图像之间的细节损失,并采用得到的细节损失对语义分割网络进行训练。

3.根据权利要求2所述的语义分割网络构建方法,其特征在于所述的将人工标记完成的图像,输入高斯‑拉普拉斯卷积进行处理,具体包括如下步骤:将人工标记完成的图像,输入到三个高斯‑拉普拉斯卷积进行处理;其中第一个高斯‑拉普拉斯卷积的卷积步长为2,第二个高斯‑拉普拉斯卷积的卷积步长为4,第三个高斯‑拉普拉斯卷积的卷积步长为8;最后将三个高斯‑拉普拉斯卷积的输出结果再通过一个卷积层处理,得到最终的细节标记图像;卷积层的卷积核为1*1,步长为1。

4.根据权利要求3所述的语义分割网络构建方法,其特征在于所述的计算细节标记图像与预测图像之间的细节损失,具体为采用如下算式计算细节损失Ldetail(pd,gd):Ldetail(pd,gd)=Ldice(pd,gd)+Lce(pd,gd)式中pd为语义分割网络中编码器的第三层的预测值;gd为细节标记图像的真实值;Lce(pd,gd)为预测值和真实值之间的交叉熵损失函数值;Ldice(pd,gd)为预测值和真实值之间的DICE函数值;具体为采用如下算式计算DICE函数值Ldice(pd,gd):式中 为语义分割网络中编码器的第三层的预测值pd的第i个像素; 为细节标记图像的真实值gd的第i个像素;H为编码器的第三层特征矩阵的高;W为编码器的第三层特征矩阵的宽;ε为设定的常数。

5.一种包括了权利要求1~4之一所述的语义分割网络构建方法的语义分割方法,其特征在于包括如下步骤:A.获取原始图片数据集,并进行人工标记得到训练数据集;

B.采用权利要求1~4之一所述的语义分割网络构建方法,构建初步语义分割网络;

C.采用步骤A得到的训练数据集,对步骤B得到的初步语义分割网络进行训练,得到最终的语义分割网络;

D.采用步骤C得到的语义分割网络,对实际图片进行语义分割,完成最终的语义分割。

6.一种自动驾驶方法,其特征在于包括了权利要求5所述的语义分割方法。