利索能及
我要发布
收藏
专利号: 2026100308265
申请人: 江西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双模态特征不确定性融合的道路分割方法,其特征在于,包括如下步骤:步骤S1:从基准数据集‌‌中读取深度图像与彩色图像,对深度图像与彩色图像进行标准化和尺寸裁剪处理,得到分辨率一致的双模态输入数据,双模态输入数据包括深度分支与彩色分支;

步骤S2:将双模态输入数据输入到双模态特征提取模块;

深度分支依次经过双模态特征提取模块的深度法向量提取组件和深度残差网络的前三层进行处理,得到前三个阶段的深度特征图;

深度残差网络的第四层替换为分向扩张卷积块,第三阶段的深度特征图经过替换的第四层的分向扩张卷积块进行处理,得到第四阶段的深度特征图;

步骤S3:彩色分支依次经过双模态特征提取模块中的图像嵌入模块和四个包含代理注意力的基础层进行处理,得到四个阶段的彩色特征图;

步骤S4:将步骤S2得到第四阶段的深度特征图与步骤S3得到第四阶段的彩色特征图输入至多扩张率注意力增强模块进行特征强化,得到深度增强特征与彩色增强特征;

步骤S5:将深度增强特征与彩色增强特征分别输入至对应特征解码模块进行处理,得到深度分支精细特征和彩色分支精细特征;

步骤S6:将深度分支精细特征与彩色分支精细特征输入至双模态不确定性融合模块进行处理,得到综合分类依据;计算综合分类依据的类别概率,得到最终的道路分割图;

步骤S7:基于双模态特征提取模块、多扩张率注意力增强模块、特征解码模块、双模态不确定性融合模块构建道路分割模型;基于道路分割模型构建总损失函数进行分层监督;

在步骤S7中,基于道路分割模型构建总损失函数,总损失函数包括证据交叉熵损失函数,证据交叉熵损失函数对双模态不确定性融合模块生成的多个层级的证据进行分层监督;具体为:步骤S71:对于给定的深度分支参数与彩色分支参数,证据交叉熵损失函数由分类误差项和不确定性正则项构成,公式如下:;

其中, 表示深度分支参数与彩色分支参数调整后的参数, 包括 、 、 ,表示深度分支和彩色分支的三个单尺度证据, 表示深度分支参数与彩色分支参数的融合参数, 表示双模态联合证据;label表示道路真实标签,道路区域取值为1,非道路区域取值为0; 表示证据交叉熵损失函数, 表示像素点,表示伽马函数的对数导数,S表示证据总置信度,表示退火系数, 表示KL散度,表示元素全为1的向量;

步骤S72:利用证据交叉熵损失函数对深度分支和彩色分支的三个单尺度证据、深度分支参数与彩色分支参数的融合参数以及双模态联合证据进行分层监督;再通过逐一计算损失函数并加权求和得到总损失函数,公式如下:;

其中, 表示总损失函数, 表示深度分支和彩色分支的三个单尺度证据, 表示深度分支参数与彩色分支参数的融合参数, 表示双模态联合证据;对双模态联合证据施加的损失权重为2。

2.根据权利要求1所述的一种基于双模态特征不确定性融合的道路分割方法,其特征在于:在步骤S2中,深度分支依次经过双模态特征提取模块的深度法向量提取组件和深度残差网络的前三层进行处理,得到前三个阶段的深度特征图;深度残差网络的第四层替换为分向扩张卷积块,第三阶段的深度特征图经过替换的第四层的分向扩张卷积块进行处理,得到第四阶段的深度特征图;其中,深度残差网络为ResNet18;具体为:步骤S21,深度分支输入的是深度图像,通过深度法向量提取组件获取深度图像中各个像素点的像素值,将像素值除以1000得到实际深度值;利用基准数据集KITTI提供的校准文件中的相机内参矩阵参数,得到水平方向的焦距和垂直方向的焦距以及水平方向的主点坐标和垂直方向的主点坐标,将深度图像的像素坐标映射为相机坐标系下的三维坐标;

步骤S22,根据深度图像中各个像素点在水平、垂直方向的变化率与对应的水平、垂直方向的焦距相乘,得到在三维坐标的水平方向和三维坐标的垂直方向的水平方向的初始法线分量和垂直方向的初始法线分量,水平方向的初始法线分量和垂直方向的初始法线分量与深度值进行计算,得到深度值方向的法线分量,将深度值方向的法线分量进行归一化得到单位法线向量;

步骤S23,将单位法线向量通过8个方向的融合与方向修正,得到三维表面法线特征图;

步骤S24,将三维表面法线特征图输入至双模态特征提取模块的深度残差网络的输入预处理层;

三维表面法线特征图依次经过一个步长为2、填充为3的7×7卷积层、批归一化层、修正线性单元激活层以及一个3×3最大池化层进行处理,将三维表面法线特征图空间尺寸压缩至原始尺寸的1/4,得到适配后续残差块的初始特征图;

步骤S25,将初始特征图输入深度残差网络的第一层,第一层由2个残差块组成,每个残差块中的结构相同;第一个残差块对输入初始特征图进行操作:利用1 x 1卷积层,将初始特征图的通道数压缩到原来通道数的1/4,对压缩后的初始特征图进行批归一化层以及修正线性单元激活层得到第一中间特征图;第一中间特征图通过一个3 x 3的卷积层来捕捉局部区域的法线向量关联,局部区域的法线向量关联通过一次批归一化层和修正线性单元激活层得到第二中间特征图;第二中间特征图使用1 x 1卷积层恢复至初始特征图的尺寸,恢复后的第二中间特征图与初始特征图进行残差连接,得到残差特征图;

步骤S26,残差特征图经过深度残差网络的第一层后,得到第一阶段的深度特征图;将第一阶段的深度特征图输入到深度残差网络的第二层后,得到第二阶段的深度特征图;将第二阶段的深度特征图输入到深度残差网络的第三层后,得到第三阶段的深度特征图;

步骤S27,将第三阶段的深度特征图输入到分向扩张卷积块中;分向扩张卷积块由4层分向扩张卷积单元依次连接构成;

第三阶段的深度特征图在第一层分向扩张卷积单元中,利用垂直扩张率为1的3×1卷积捕捉近距路沿法线垂直突变,利用水平扩张率为5的1×3卷积提取局部车道线法线的连续性,经批归一化层与修正线性单元激活层激活后得到第一特征图;

第二层分向扩张卷积单元将第一特征图,采用垂直扩张率为3的3×1卷积,采用水平扩张率为8的1×3卷积,经批归一化与修正线性单元激活层激活后得到第二特征图;

第三层分向扩张卷积单元的参数与第二层相同,得到第三特征图;

第四层分向扩张卷积单元将第三特征图,采用垂直扩张率为7的3×1卷积,采用水平扩张率为21的1×3卷积,经批归一化与修正线性单元激活层激活后得到第四特征图;

将初始输入的第三阶段的深度特征图与第四特征图进行残差连接,得到第五特征图,将第五特征图作为深度分支的第四阶段的深度特征图。

3.根据权利要求2所述的一种基于双模态特征不确定性融合的道路分割方法,其特征在于:在步骤S3中,彩色分支依次经过双模态特征提取模块中的图像嵌入模块和四个包含代理注意力的基础层进行处理,得到四个阶段的彩色特征图;具体为:步骤S31,彩色分支输入的是原始图像,将原始图像通过一个卷积核大小为4、步长为4、输出通道数为96的卷积层进行图像块嵌入处理,将原始图像分割为4x4像素的非重叠局部块并映射为96维特征向量,对96维特征向量进行归一化操作,并按原始空间位置排列,构成原始特征图,将原始特征图展平,得到特征序列;

步骤S32,将特征序列输入至一个四层结构的代理‑移位窗口变换器网络;其中,每一层包含若干代理‑移位窗口变换器块;每个代理‑移位窗口变换器块使用3个注意力头,每个代理‑移位窗口变换器块处理输入的特征序列,具体为:步骤S321,对输入的特征序列进行归一化操作,沿特征维度来计算均值和方差,得到第一特征序列;

步骤S322,将第一特征序列通过重塑操作重塑得到二维特征图;

步骤S323,将二维特征图按照7x7窗口划分为多个子特征图,将每个子特征图通过线性变换,生成得到查询特征、键特征和值特征;

步骤S324,基于查询特征得到查询特征图,对查询特征图进行7x7自适应平均池化操作,按照二维特征图的高宽把查询特征图均匀划分为7份,得到49个区域代表特征,将49个区域代表特征进行展平,得到49个代理令牌序列;

各个代理令牌序列的特征维度为96,3个注意力头将代理令牌序列以及查询特征、键特征、值特征按特征维度平均拆分,即每个注意力头负责32个特征维度;

步骤S325,通过代理令牌对所有子特征图的键特征来对子特征图分配关注度;再通过子特征图的查询特征反向计算子特征图对代理令牌的关注度;计算从代理令牌到子特征图的注意力权重和计算从子特征图到代理令牌的注意力权重;

步骤S326,利用代理令牌到子特征图的注意力权重对子特征图的值特征做矩阵乘法,对所有子特征图的特征进行聚合,得到代理令牌引导的全局关联特征;

利用子特征图到代理令牌的注意力权重对全局关联特征进行反向聚合,使各个子特征图的局部细节反馈到全局关联特征中,得到聚合特征;

对聚合特征使用深度可分离卷积来提取子特征图邻域内的局部关联信息,得到聚合增强特征;

将聚合增强特征与输入的特征序列进行残差连接,得到第一综合特征;

步骤S327,引入多层感知机层提升第一综合特征的非线性表达能力,多层感知机层‌‌包含两个全连接层、高斯误差线性单元‌‌激活函数及随机失活正则化处理,得到第二综合特征;

步骤S328,将第二综合特征与第一综合特征进行残差连接,得到该代理‑移位窗口变换器块的最终综合特征;

步骤S33,将最终综合特征通过第一层的两个代理‑移位窗口变换器块的迭代运算后,得到第一层输出的第一阶段的彩色特征图;

将第一阶段的彩色特征图通过第二层的两个代理‑移位窗口变换器块的迭代运算后,得到第二层输出的第二阶段的彩色特征图;

将第二阶段的彩色特征图通过第三层的六个代理‑移位窗口变换器块的迭代运算后,得到第三层输出的第三阶段的彩色特征图;

将第三阶段的彩色特征图通过第四层的两个代理‑移位窗口变换器块的迭代运算后,得到第四层输出的第四阶段的彩色特征图。

4.根据权利要求3所述的一种基于双模态特征不确定性融合的道路分割方法,其特征在于:在步骤S4中,将步骤S2得到第四阶段的深度特征图与步骤S3得到第四阶段的彩色特征图输入至多扩张率注意力增强模块进行特征强化,得到深度增强特征与彩色增强特征;

具体为:

步骤S41,将输入的第四阶段的深度特征图的维度顺序从批次大小、通道数、高度、宽度变成批次大小、高度、宽度、通道数进行转置操作;

使用一个1x1卷积层对转置后的第四阶段的深度特征图进行处理,将输出通道数扩展为512×3,得到每个512个通道分别对应生成查询特征、键特征和值特征三组特征;

步骤S42,将通道数为512的查询特征、键特征和值特征三组特征分别按通道平均分割为两组,对应两组预定义的扩张率参数,参数设置为2和3,生成得到对应扩张率为 2的第一组子特征和对应扩张率为 3的第二组子特征;

步骤S43,对第一组子特征与第二组子特征并行进行多头扩张注意力计算;

步骤S431,将第一组子特征按注意力头进一步拆分,分别得到8个32通道的头部分支特征,头部分支特征包括头部分支查询特征、头部分支键特征和头部分支值特征;

步骤S432,对头部分支键特征和头部分支值特征,利用扩张率为2的滑动窗口展开操作提取局部区域特征,得到局部键特征和局部值特征;

步骤S433,将头部分支查询特征与展开后的局部键特征进行矩阵乘法计算原始相似度分数,并经缩放因子调整后,通过归一化指数函数进行归一化,得到注意力权重;

步骤S434,利用注意力权重对展开后的局部值特征进行加权融合,得到融合局部特征;

步骤S435,将8个头部分支输出的融合局部特征在通道维度上进行拼接,合并为256通道特征图,得到扩张率为2的注意力增强特征;

步骤S436,第二组子特征基于步骤S431到步骤S435得到扩张率为3的注意力增强特征;

步骤S44,将扩张率为2的注意力增强特征与扩张率为3的注意力增强特征在通道维度上进行拼接,并通过一个投影层进行融合,得到最终特征;

步骤S45,根据最终特征的输出得到对应于深度分支的深度增强特征;

步骤S46,第四阶段的彩色特征图基于步骤S41到步骤S45得到对应于彩色分支的彩色增强特征。

5.根据权利要求4所述的一种基于双模态特征不确定性融合的道路分割方法,其特征在于:在步骤S5中,将深度增强特征与彩色增强特征分别输入至对应特征解码模块进行处理,得到深度分支精细特征和彩色分支精细特征;具体为:步骤S51:使用一个1x1卷积层,将输入的深度增强特征与彩色增强特征的通道数从512压缩至64,得到深度分支的基础解码特征和彩色分支的基础解码特征;

步骤S52:对深度分支的基础解码特征和彩色分支的基础解码特征通过上采样模块进行三级上采样操作,上采样模块由双线性插值操作、有效特征增强单元及残差融合操作组成;

步骤S53:深度分支的基础解码特征进行第一次上采样操作:将深度增强特征与深度分支的第三阶段的深度特征图进行融合,得到第一次深度分支上采样结果,具体步骤为:步骤S531:通过双线性插值将深度增强特征上采样至与第三阶段的深度特征图相同的空间尺寸得到深度增强特征图;

步骤S532:使用1x1卷积对第三阶段的深度特征图进行通道压缩,得到分向扩张卷积块;将分向扩张卷积块输入到有效特征增强单元进行精细化校准,有效特征增强单元先将分向扩张卷积块按通道分成K组,对每组特征分别进行高度和宽度方向的自适应池化以捕捉空间上下文,再分别通过 1×1 卷积与激活函数进行激活,得到高度注意力权重与宽度注意力权重;

步骤S533:利用高度注意力权重和宽度注意力权重与其对应的第k组特征分组进行逐元素相乘,再通过组归一化操作得到加权后的特征,同时对原始分组特征进行3x3卷积操作,得到局部细节特征;

步骤S534:对加权后的特征进行全局自适应池化加速图形端口操作‌‌以及归一化指数函数激活,再对局部细节特征进行展平,对加权后的特征和局部细节特征进行矩阵相乘,再通过一个激活函数得到通道‑空间的交互权重;

步骤S535:对于第k组特征分组,先将高度注意力权重与宽度注意力权重逐元素相乘,得到综合的空间注意力权重;

把综合的空间注意力权重与上述通道‑空间的交互权重进行相加,得到最终的融合权重;

使用最终的融合权重对原始分组特征的第k组特征分组进行逐元素加权操作,得到第 k 组校准后的特征,再将校准后的各组特征进行拼接,得到最终校准特征;

步骤S536:将上采样后的深度增强特征图与最终校准特征进行逐元素相加,得到第一次深度分支上采样结果;

步骤S54:第二次和第三次上采样操作与第一次上采样操作逻辑相同;

第二次上采样操作是第一次深度分支上采样结果与深度分支的第二阶段的深度特征图进行融合,得到第二次深度分支上采样结果;

第三次上采样操作是第二次深度分支上采样结果与深度分支的第一阶段的深度特征图进行融合,得到第三次深度分支上采样结果;

步骤S55:将步骤S52中的彩色分支的基础解码特征基于步骤S53到步骤S54,得到第一次彩色分支上采样结果、第二次彩色分支上采样结果和第三次彩色分支上采样结果;

步骤S56:将第三次深度分支上采样结果和第三次彩色分支上采样结果分别作为深度分支精细特征与彩色分支精细特征。

6.根据权利要求5所述的一种基于双模态特征不确定性融合的道路分割方法,其特征在于:在步骤S6中,将深度分支精细特征与彩色分支精细特征输入至双模态不确定性融合模块进行处理,得到综合分类依据;计算综合分类依据的类别概率,得到最终的道路分割图,具体为:步骤S61:将深度分支精细特征与彩色分支精细特征分别输入至多尺度证据收集组件进行三种卷积操作:1x1卷积、卷积核为3x3且空洞率为3的卷积、卷积核为3x3且空洞率为6的卷积,生成三种不同感受野的特征图;

步骤S62:将三种不同感受野的特征图通过上采样恢复到最初读取到的深度或彩色图像的尺寸,通过激活函数进行激活,分别得到深度分支的三个单尺度证据和彩色分支的三个单尺度证据;

步骤S63:对深度分支的三个单尺度证据和彩色分支的三个单尺度证据分别求取平均值,得到深度分支的融合证据和彩色分支的融合证据;

步骤S64:将深度分支的融合证据和彩色分支的融合证据分别转换为狄利克雷分布的参数,转换关系为:狄利克雷分布的参数等于证据值加1,得到深度分支参数与彩色分支参数,对深度分支参数与彩色分支参数进行融合,得到深度分支参数与彩色分支参数的融合参数;

步骤S65:对深度分支参数与彩色分支参数的融合参数,分别计算深度分支参数与彩色分支参数的总置信度、相对证据与不确定性,并计算得到深度分支参数与彩色分支参数之间的证据冲突系数;

步骤S66:根据冲突系数,计算得到深度分支参数与彩色分支参数的联合相对证据、联合不确定性及联合总置信度;

步骤S67:基于联合相对证据、联合不确定性和联合总置信度,计算得到融合后的双模态联合证据;

步骤S68:基于双模态联合证据,计算每个像素归属于道路类别的概率,并将概率值大于0.5的像素判定为道路区域,生成最终的道路分割掩码。