1.一种基于生成对抗网络和跨模态特征融合的道路场景语义分割方法,其特征在于,具体步骤如下:
选取多幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分割图像,由多幅所述原始的道路场景图像和每幅所述原始的道路场景图像对应的标签图构成训练集;
构建带有跨模态融合模块和网状上下文感知模块、恢复分辨率和增强语义信息的生成器卷积神经网络;
构建判别器卷积神经网络;
将所述训练集输入到所述生成器卷积神经网络,得到所述训练集中的每幅原始的道路场景图对应的预测图,将原始道路场景图,对应预测图和对应的标签图,输入判别器,得到评价分数,根据评价分数,更新判别器参数,使得分数最低;
将所述训练集输入到所述生成器卷积神经网络,得到所述训练集中的每幅原始的道路场景图对应的预测图,计算所述预测图与所述标签图之间的损失函数,并更新生成器参数;
所述跨模态融合模块包括第一融合模块;所述第一融合模块,其由第三卷积层,第四卷积层组成;将第一初始神经网络块输出R1、第二初始神经网络块的输出T1分别输入到第三卷积层、第四卷积层,第三卷积层、第四卷积层均输出64幅特征图,分别记为A1、B1;将A1中的每幅特征图与B1中的每幅特征图进行元素加和,得到64幅初步融合特征图,记为f1,将f1中每幅特征图经过Sigmoid激活函数,得到64幅特征图,记为S1;分别将S1中的每幅特征图与A1、B1中的每幅特征图,进行元素的相乘,分别得到两组64幅特征图,分别记为SA1、SB1;最后将SA1、SB1与初步融合特征图f1进行元素的加和,得到64幅特征图,记为第一侧边输出F1。
2.根据权利要求1所述的一种基于生成对抗网络和跨模态特征融合的道路场景语义分割方法,其特征在于,所述跨模态融合模块还包括第二融合模块、第三融合模块、第四融合模块和第五融合模块;所述第二融合模块、所述第三融合模块、所述第四融合模块和所述第五融合模块结构相同;所述第二融合模块包括第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层;将第一残差神经网络块输出Rl1、第五残差神经网络块的输出Tl1分别输入到第五卷积层、第六卷积层,第五卷积层、第六卷积层均输出
64幅特征图,分别记为Al1、Bl1;将Al1中的每幅特征图与Bl1中的每幅特征图进行元素加和,得到64幅初步融合特征图,记为fl1,将fl1中每幅特征图经过Sigmoid激活函数,得到64幅特征图,记为Sl1;分别将Sl1中的每幅特征图与Al1、Bl1中的每幅特征图,进行元素的相乘,分别得到两组64幅特征图,分别记为SAl1、SBl1;将第一侧边输出F1中的每幅特征图输入到第七卷积层,将经第七卷积层输出得到的64幅特征图再输入到第八卷积层,第八卷积层输出64幅特征图,记为Ul1;将第一侧边输出F1中的每幅特征图输入到第九卷积层,将经第九卷积层输出得到的64幅特征图再输入到第十卷积层,第十卷积层输出64幅特征图,记为Dl1,将Ul1中的
64幅特征图与SAl1中的64幅特征图相叠加,得到128幅特征图,记为Ml1;将Dl1中的64幅特征图与SBl1中的64幅特征图相叠加,得到128幅特征图,记为Nl1;将Ml1中的每幅特征图与Nl1中的每幅特征图进行元素加和,将得到的加和作为第十一卷基层的输入,第十一卷积层输出
64幅特征图记为MNl1,最后将MNl1和初步融合特征图fl1进行元素的加和,得到64幅特征图,记为第二侧边输出F2。
3.根据权利要求1所述的一种基于生成对抗网络和跨模态特征融合的道路场景语义分割方法,其特征在于,所述网状上下文感知模块,包括四个分支;将第一分支的四个卷积块的输出分别记为B1‑1、B1‑2、B1‑3和B1‑4,将第二分支的四个卷积块的输出分别记为B2‑1、B2‑2、B2‑3和B2‑4,将第三分支的四个卷积块的输出分别记为B3‑1、B3‑2、B3‑3和B3‑4,在第二分支中,所述网状上下文感知块的输入F5与B1‑1的加和作为第二卷积块的输入,B2‑1与B1‑2的加和作为第四空洞卷积块的输入,B2‑2与B1‑3的加和作为第五空洞卷积块的输入,B2‑3与B1‑4的加和作为第六空洞卷积块的输入;在第三分支中,F5、B2‑1和B1‑2的加和作为第三卷积块的输入,B3‑1、B2‑2和B1‑3的加和作为第七空洞卷积块的输入,B3‑2、B2‑3和B1‑4的加和作为第八空洞卷积块的输入,B3‑3与B2‑4的加和作为第九空洞卷积块的输入;将所述三个分支最后一个卷积块中64幅特征图叠加在一起,生成192幅特征图,记为CB;将CB作为第三十三卷积层的输入,第三十三卷积层输出64幅特征图,再将这64幅特征图与网状上下文感知块的输入F5进行元素#加和,得到64幅特征图,记为F5。
4.根据权利要求1所述的一种基于生成对抗网络和跨模态特征融合的道路场景语义分割方法,其特征在于,所述生成器卷积神经网络还包括解码块,所述解码块的输入依次经过三个卷积块,与输入加和,经过上采样使得分辨率扩大至原来的二倍。