1.一种基于残差金字塔池化神经网络的语义分割方法,其特征在于:
步骤1:选取N幅RGB图像以及RGB图像对应的深度图、独热编码图,将所有RGB图像及其对应的深度图、独热编码图构成训练集;独热编码图是对RGB图像进行真实语义分割处理得到的图像;
步骤2:构建残差金字塔池化神经网络,残差金字塔池化神经网络包括依次设置的输入层、隐藏层和输出层;
步骤3:将训练集中每幅RGB图像以及RGB图像对应的深度图通过输入层输入到隐藏层后再从输出层输出语义分割预测图,计算每幅RGB图像的语义分割预测图和独热编码图之间的损失函数值,损失函数值采用采用Negative Log-liklihood(NLLLoss)获得;
步骤4:重复执行步骤3共V次,并共得到N×V个损失函数值;将N×V个损失函数值中值最小的损失函数值对应的权值矢量和偏置项作为残差金字塔池化神经网络的最优权值矢量和最优偏置项,得到训练好的残差金字塔池化神经网络;
步骤5:采集待语义分割的RGB图像,并将其输入到训练好的残差金字塔池化神经网络中,输出得到待语义分割的RGB图像对应的语义分割预测图。
2.根据权利要求1所述的一种基于残差金字塔池化神经网络的语义分割方法,其特征在于:隐藏层包括五部分,第一部分主要由依次连接的第1个卷积块、第6个残差网络块、第7个残差网络块、第8个残差网络块、第9个残差网络块、第10个残差网络块、第1个残差网络块、第2个反卷积层、第3个反卷积层、第4个反卷积层组成,第二部分主要由依次连接的第1个残差网络块、第2个残差网络块、第3个残差网络块、第4个残差网络块、第5个残差网络块、第5个反卷积层、第6个反卷积层、第7个反卷积层、第8个反卷积层组成,第三部分主要由依次连接的第1个Residual ASPP块、第2个Residual ASPP块、第3个Residual ASPP块、第4个Residual ASPP块、第9个反卷积层、第10个反卷积层、第11个反卷积层组成,第四部分主要由依次连接的第1个Basic块、第2个Basic块、第3个Basic块、第12个反卷积层、第13个反卷积层、第4个Basic块和第5个Basic块组成;
第6个残差网络块、第4个反卷积层、第1个残差网络块和第8个反卷积层的输出均再跳跃连接到第1个Residual ASPP块的输入,第7个残差网络块、第3个反卷积层、第2个残差网络块和第7个反卷积层的输出均再跳跃连接到第2个Residual ASPP块的输入,第8个残差网络块、第2个反卷积层、第3个残差网络块和第6个反卷积层的输出均再跳跃连接到第3个Residual ASPP块的输入,第9个残差网络块、第1个反卷积层、第4个残差网络块和第5反卷积层的输出均再跳跃连接到第4个Residual ASPP块的输入,第2个Residual ASPP块的输出再跳跃连接到第1个Basic块的输入,第3个Residual ASPP块和第10个反卷积层的输出再连接到第2个Basic块的输入,第4个Residual ASPP块和第9个反卷积层的输出再跳跃连接到第3个Basic块的输入,第2个Basic块的输出再跳跃连接到第4个Basic块的输入,第3个Basic块和第12个反卷积层的输出再跳跃连接到第5个Basic块的输入,第五部分包括依次连接的第14个反卷积层、第15个反卷积层和第16个反卷积层,第3个Residual ASPP块的输出连接到第14个反卷积层的输入,第1个Residual ASPP块、第4个Basic块和第16个反卷积层的输出融合后作为隐藏层的主要输出,隐藏层还包括三个多尺度输出,第3个Residual ASPP块和第14个反卷积层输出融合后经第2个卷积块输出,第2卷积块的输出作为第一多尺度输出,第2个Residual ASPP块、第5个Basic块和第15个反卷积层输出融合后经第3个卷积块输出,第3卷积块的输出作为第二多尺度输出,第1个Residual ASPP块和第4个Basic块的输出融合后经第4个卷积块输出,第4卷积块的输出作为第三多尺度输出;
第1个残差网络块接收RGB图像作为输入,第1个卷积块接收深度图作为输入,隐藏层的主要输出和三个多尺度输出经输出层输出,隐藏层输出的均为语义分割预测图,三个多尺度输出用于训练残差金字塔池化神经网络,三个多尺度输出的区别在于语义分割预测图的尺寸大小不同,根据隐藏层的主要输出和三个多尺度输出计算损失函数值。
3.根据权利要求2所述的一种基于残差金字塔池化神经网络的语义分割方法,其特征在于:所述的各个残差网络块均是由ResNet34中的基本块构成,具体是:第1个残差网络块、第6个残差网络块均由ResNet34网络的第一卷积层、第一批量归一化层和第一激活层组成;
第2个残差网络块、第7个残差网络块均由ResNet34网络的第一池化层和layer1结构组成;
第3个残差网络块、第8个残差网络块均由ResNet34网络的layer2结构组成;第4个残差网络块、第9个残差网络块均由ResNet34网络的layer3结构组成;第5个残差网络块、第10个残差网络块均由ResNet34网络的layer4结构组成。
4.根据权利要求2所述的一种基于残差金字塔池化神经网络的语义分割方法,其特征在于:所述的各个Residual ASPP块的结构均由并行设置的三个带孔卷积块串行一个卷积块组成,三个带孔卷积块并联的一端作为Residual ASPP块的输入端,并联的另一端经串联的卷积块后的输出作为Residual ASPP块的输出端。
5.根据权利要求2所述的一种基于残差金字塔池化神经网络的语义分割方法,其特征在于:所述的各个Basic块均由三个卷积块依次连接组成,三个卷积块串联一端作为Basic块的输入端,串联的另一端作为Basic块的输出端,每个卷积块均由依次连接的卷积层、批量归一化层、激活层组成。
6.根据权利要求1所述的一种基于残差金字塔池化神经网络的语义分割方法,其特征在于:所述的RGB图像为原始采集的室内场景图像。