利索能及
我要发布
收藏
专利号: 2018113507188
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卷积神经网络的道路场景语义分割方法,其特征在于包括训练阶段和测试阶段两个过程;

所述的训练阶段过程的具体步骤为:

步骤1_1:选取Q幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分q

割图像,并构成训练集,将训练集中的第q幅原始的道路场景图像记为{I (i,j)},将训练集q

中与{I (i,j)}对应的真实语义分割图像记为 然后采用独热编码技术将训练集

中的每幅原始的道路场景图像对应的真实语义分割图像处理成12幅独热编码图像,将处理成的12幅独热编码图像构成的集合记为 其中,道路场景图像为RGB彩色q

图像,Q为正整数,Q≥100,q为正整数,1≤q≤Q,1≤i≤W,1≤j≤H,W表示{I(i,j)}的宽度,H表q q q

示{I (i,j)}的高度,I(i,j)表示{I(i,j)}中坐标位置为(i,j)的像素点的像素值,表示 中坐标位置为(i,j)的像素点的像素值;

步骤1_2:构建卷积神经网络:卷积神经网络包括输入层、隐层和输出层;隐层由13个神经网络块、7个上采样层、8个级联层组成,第1个至第5个神经网络块构成编码部分,第1个至第7个上采样层、第1个至第8个级联层、第6个至第13个神经网络块构成解码部分,编码部分和解码部分组成编解码神经网络体系结构;第1个神经网络块由第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层组成,第2个神经网络块由第五卷积层、第六卷积层、第二最大池化层、第七卷积层、第八卷积层组成,第3个神经网络块由第九卷积层、第十卷积层、第十一卷积层、第三最大池化层、第十二卷积层、第十三卷积层组成,第4个神经网络块由第十四卷积层、第十五卷积层、第十六卷积层、第四最大池化层、第十七卷积层组成,第5个神经网络块由第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层、第二十二卷积层、第二十三卷积层组成,第6个神经网络块由第二十四卷积层、第二十五卷积层、第二十六卷积层组成,第7个神经网络块由第二十七卷积层、第二十八卷积层、第二十九卷积层组成,第8个神经网络块由第三十卷积层、第三十一卷积层组成,第9个神经网络块由第三十二卷积层、第三十三卷积层组成,第10个神经网络块由第三十四卷积层、第三十五卷积层、第三十六卷积层组成,第11个神经网络块由第三十七卷积层、第三十八卷积层、第三十九卷积层组成,第12个神经网络块由第四十卷积层、第四十一卷积层组成,第13个神经网络块由第四十二卷积层、第四十三卷积层组成;输出层由第四十四卷积层组成;其中,第一卷积层至第四十四卷积层各自的卷积核大小为3×3,第一最大池化层至第四最大池化层各自的池化步长为2,7个上采样层各自的上采样步长为2;

对于输入层,输入层的输入端接收一幅原始输入图像的R通道分量、G通道分量和B通道分量,输入层的输出端输出原始输入图像的R通道分量、G通道分量和B通道分量给隐层;其中,要求输入层的输入端接收的原始输入图像的宽度为W、高度为H;

对于第1个神经网络块,第一卷积层的输入端接收输入层的输出端输出的原始输入图像的R通道分量、G通道分量和B通道分量,第一卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C1;第二卷积层的输入端接收C1中的所有特征图,第二卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C2;第一最大池化层的输入端接收C2中的所有特征图,第一最大池化层的输出端输出64幅特征图,将64幅特征图构成的集合记为Z1;第三卷积层的输入端接收C2中的所有特征图,第三卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C3;第四卷积层的输入端接收C2中的所有特征图,第四卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C4;其中,C1、C2、C3、C4各自中的每幅特征图的宽度为W、高度为H,Z1中的每幅特征图的宽度为 高度为对于第2个神经网络块,第五卷积层的输入端接收Z1中的所有特征图,第五卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C5;第六卷积层的输入端接收C5中的所有特征图,第六卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C6;第二最大池化层的输入端接收C6中的所有特征图,第二最大池化层的输出端输出128幅特征图,将128幅特征图构成的集合记为Z2;第七卷积层的输入端接收C6中的所有特征图,第七卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C7;第八卷积层的输入端接收C6中的所有特征图,第八卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C8;其中,C5、C6、C7、C8各自中的每幅特征图的宽度为 高度为 Z2中的每幅特征图的宽度为 高度为对于第3个神经网络块,第九卷积层的输入端接收Z2中的所有特征图,第九卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C9;第十卷积层的输入端接收C9中的所有特征图,第十卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C10;第十一卷积层的输入端接收C10中的所有特征图,第十一卷积层的输出端输出256幅特征图,将

256幅特征图构成的集合记为C11;第三最大池化层的输入端接收C11中的所有特征图,第三最大池化层的输出端输出256幅特征图,将256幅特征图构成的集合记为Z3;第十二卷积层的输入端接收C11中的所有特征图,第十二卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C12;第十三卷积层的输入端接收C11中的所有特征图,第十三卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C13;其中,C9、C10、C11、C12、C13各自中的每幅特征图的宽度为 高度为 Z3中的每幅特征图的宽度为 高度为对于第4个神经网络块,第十四卷积层的输入端接收Z3中的所有特征图,第十四卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C14;第十五卷积层的输入端接收C14中的所有特征图,第十五卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C15;第十六卷积层的输入端接收C15中的所有特征图,第十六卷积层的输出端输出

512幅特征图,将512幅特征图构成的集合记为C16;第四最大池化层的输入端接收C16中的所有特征图,第四最大池化层的输出端输出512幅特征图,将512幅特征图构成的集合记为Z4;

第十七卷积层的输入端接收C16中的所有特征图,第十七卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C17;其中,C14、C15、C16、C17各自中的每幅特征图的宽度为高度为 Z4中的每幅特征图的宽度为 高度为对于第5个神经网络块,第十八卷积层的输入端接收Z4中的所有特征图,第十八卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C18;第十九卷积层的输入端接收C18中的所有特征图,第十九卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C19;第二十卷积层的输入端接收C19中的所有特征图,第二十卷积层的输出端输出

512幅特征图,将512幅特征图构成的集合记为C20;第二十一卷积层的输入端接收C20中的所有特征图,第二十一卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C21;

第二十二卷积层的输入端接收C21中的所有特征图,第二十二卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C22;第二十三卷积层的输入端接收C22中的所有特征图,第二十三卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C23;其中,C18、C19、C20、C21、C22、C23各自中的每幅特征图的宽度为 高度为对于第1个上采样层,第1个上采样层的输入端接收C23中的所有特征图,第1个上采样层的输出端输出512幅特征图,将512幅特征图构成的集合记为Y1;其中,Y1中的每幅特征图的宽度为 高度为对于第1个级联层,第1个级联层的输入端接收Y1中的所有特征图和C17中的所有特征图,第1个级联层的输出端输出1024幅特征图,将1024幅特征图构成的集合记为L1;其中,L1中的每幅特征图的宽度为 高度为对于第6个神经网络块,第二十四卷积层的输入端接收L1中的所有特征图,第二十四卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C24;第二十五卷积层的输入端接收C24中的所有特征图,第二十五卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C25;第二十六卷积层的输入端接收C25中的所有特征图,第二十六卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C26;其中,C24、C25、C26各自中的每幅特征图的宽度为 高度为对于第2个上采样层,第2个上采样层的输入端接收C26中的所有特征图,第2个上采样层的输出端输出512幅特征图,将512幅特征图构成的集合记为Y2;其中,Y2中的每幅特征图的宽度为 高度为对于第2个级联层,第2个级联层的输入端接收Y2中的所有特征图和C12中的所有特征图,第2个级联层的输出端输出768幅特征图,将768幅特征图构成的集合记为L2;其中,L2中的每幅特征图的宽度为 高度为对于第7个神经网络块,第二十七卷积层的输入端接收L2中的所有特征图,第二十七卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C27;第二十八卷积层的输入端接收C27中的所有特征图,第二十八卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C28;第二十九卷积层的输入端接收C28中的所有特征图,第二十九卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C29;其中,C27、C28、C29各自中的每幅特征图的宽度为 高度为对于第3个上采样层,第3个上采样层的输入端接收C29中的所有特征图,第3个上采样层的输出端输出256幅特征图,将256幅特征图构成的集合记为Y3;其中,Y3中的每幅特征图的宽度为 高度为对于第3个级联层,第3个级联层的输入端接收Y3中的所有特征图和C7中的所有特征图,第3个级联层的输出端输出384幅特征图,将384幅特征图构成的集合记为L3;其中,L3中的每幅特征图的宽度为 高度为对于第8个神经网络块,第三十卷积层的输入端接收L3中的所有特征图,第三十卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C30;第三十一卷积层的输入端接收C30中的所有特征图,第三十一卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C31;其中,C30、C31各自中的每幅特征图的宽度为 高度为对于第4个上采样层,第4个上采样层的输入端接收C31中的所有特征图,第4个上采样层的输出端输出128幅特征图,将128幅特征图构成的集合记为Y4;其中,Y4中的每幅特征图的宽度为W、高度为H;

对于第4个级联层,第4个级联层的输入端接收Y4中的所有特征图和C3中的所有特征图,第4个级联层的输出端输出192幅特征图,将192幅特征图构成的集合记为L4;其中,L4中的每幅特征图的宽度为W、高度为H;

对于第9个神经网络块,第三十二卷积层的输入端接收L4中的所有特征图,第三十二卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C32;第三十三卷积层的输入端接收C32中的所有特征图,第三十三卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C33;其中,C32、C33各自中的每幅特征图的宽度为W、高度为H;

对于第10个神经网络块,第三十四卷积层的输入端接收C16中的所有特征图,第三十四卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C34;第三十五卷积层的输入端接收C34中的所有特征图,第三十五卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C35;第三十六卷积层的输入端接收C35中的所有特征图,第三十六卷积层的输出端输出512幅特征图,将512幅特征图构成的集合记为C36;其中,C34、C35、C36各自中的每幅特征图的宽度为 高度为对于第5个上采样层,第5个上采样层的输入端接收C36中的所有特征图,第5个上采样层的输出端输出512幅特征图,将512幅特征图构成的集合记为Y5;其中,Y5中的每幅特征图的宽度为 高度为对于第5个级联层,第5个级联层的输入端接收Y5中的所有特征图和C13中的所有特征图,第5个级联层的输出端输出768幅特征图,将768幅特征图构成的集合记为L5;其中,L5中的每幅特征图的宽度为 高度为对于第11个神经网络块,第三十七卷积层的输入端接收L5中的所有特征图,第三十七卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C37;第三十八卷积层的输入端接收C37中的所有特征图,第三十八卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C38;第三十九卷积层的输入端接收C38中的所有特征图,第三十九卷积层的输出端输出256幅特征图,将256幅特征图构成的集合记为C39;其中,C37、C38、C39各自中的每幅特征图的宽度为 高度为对于第6个上采样层,第6个上采样层的输入端接收C39中的所有特征图,第6个上采样层的输出端输出256幅特征图,将256幅特征图构成的集合记为Y6;其中,Y6中的每幅特征图的宽度为 高度为对于第6个级联层,第6个级联层的输入端接收Y6中的所有特征图和C8中的所有特征图,第6个级联层的输出端输出384幅特征图,将384幅特征图构成的集合记为L6;其中,L6中的每幅特征图的宽度为 高度为对于第12个神经网络块,第四十卷积层的输入端接收L6中的所有特征图,第四十卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C40;第四十一卷积层的输入端接收C40中的所有特征图,第四十一卷积层的输出端输出128幅特征图,将128幅特征图构成的集合记为C41;其中,C40、C41各自中的每幅特征图的宽度为 高度为对于第7个上采样层,第7个上采样层的输入端接收C41中的所有特征图,第7个上采样层的输出端输出128幅特征图,将128幅特征图构成的集合记为Y7;其中,Y7中的每幅特征图的宽度为W、高度为H;

对于第7个级联层,第7个级联层的输入端接收Y7中的所有特征图和C4中的所有特征图,第7个级联层的输出端输出192幅特征图,将192幅特征图构成的集合记为L7;其中,L7中的每幅特征图的宽度为W、高度为H;

对于第13个神经网络块,第四十二卷积层的输入端接收L7中的所有特征图,第四十二卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C42;第四十三卷积层的输入端接收C42中的所有特征图,第四十三卷积层的输出端输出64幅特征图,将64幅特征图构成的集合记为C43;其中,C42、C43各自中的每幅特征图的宽度为W、高度为H;

对于第8个级联层,第8个级联层的输入端接收C33中的所有特征图和C43中的所有特征图,第8个级联层的输出端输出128幅特征图,将128幅特征图构成的集合记为L8;其中,L8中的每幅特征图的宽度为W、高度为H;

对于输出层,第四十四卷积层的输入端接收L8中的所有特征图,第四十四卷积层的输出端输出12幅与原始输入图像对应的语义分割预测图;其中,每幅语义分割预测图的宽度为W、高度为H;

步骤1_3:将训练集中的每幅原始的道路场景图像作为原始输入图像,输入到卷积神经网络中进行训练,得到训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图,q将{I(i,j)}对应的12幅语义分割预测图构成的集合记为

步骤1_4:计算训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图构成的集合与对应的真实语义分割图像处理成的12幅独热编码图像构成的集合之间的损失函数值,将 与 之间的损失函数值记为步骤1_5:重复执行步骤1_3和步骤1_4共V次,得到卷积神经网络分类训练模型,并共得到Q×V个损失函数值;然后从Q×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权best best值矢量和最优偏置项,对应记为W 和b ;其中,V>1;

所述的测试阶段过程的具体步骤为:

步骤2_1:令 表示待语义分割的道路场景图像;其中,1≤i'≤W',1≤j'≤H',W'表示 的宽度,H'表示 的高度, 表示 中坐标位置为(i,j)的像素点的像素值;

步骤2_2:将 的R通道分量、G通道分量和B通道分量输入到卷积神经网络分类训练best best

模型中,并利用W 和b 进行预测,得到 对应的预测语义分割图像,记为

其中, 表示 中坐标位置为(i',j')的像素点的像素值。

2.根据权利要求1所述的一种基于卷积神经网络的道路场景语义分割方法,其特征在于所述的步骤1_4中, 采用分类交叉熵获得。