利索能及
我要发布
收藏
专利号: 2021111059210
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于RGB‑D特征融合的场景语义分割方法,其特征在于,包括:获取待分割场景的RGB图像和深度图像;

将RGB图像和深度图像同时输入场景语义分割模型中,得到场景语义分割结果;

其中,场景语义分割模型的编码器分别采用RGB分支和深度分支对所述RGB图像和深度图像处理,处理过程中采用RGB‑D特征融合网络进行RGB特征和深度特征的融合,得到多个低层融合特征和一个高层融合特征;所述多个低层融合特征经过特征细化网络处理后进入解码器;所述高层融合特征经过上下文特征处理网络后进入解码器;所述解码器通过上采样层和RGB‑D特征融合网络对多个低层融合特征和一个高层融合特征进行处理得到待分割场景的特征;

所述RGB‑D特征融合网络具体为:

连接RGB特征和深度特征,得到拼接特征;

同时将RGB特征、深度特征和拼接特征分别进行全局平均池化处理后送入不同的MLP层;

MLP层输出元素相加之后的结果,经由Sigmoid函数处理;

处理后的结果分别与RGB特征与深度特征进行通道乘法之后再进行元素相加,得到输出结果。

2.如权利要求1所述的一种基于RGB‑D特征融合的场景语义分割方法,其特征在于,所述RGB分支采用RGB卷积层对RGB图像进行处理后输入多个依次连接的RGB分支层;

所述深度分支采用深度卷积层对深度图像进行处理后输入多个依次连接的深度分支层。

3.如权利要求2所述的一种基于RGB‑D特征融合的场景语义分割方法,其特征在于,所述深度分支层与RGB分支层一一对应,且所述深度卷积层输出的深度特征与其对应的RGB分支层输出的RGB特征通过RGB‑D特征融合网络进行融合。

4.如权利要求1所述的一种基于RGB‑D特征融合的场景语义分割方法,其特征在于,所述特征细化网络对低层融合特征先输入卷积层进行卷积操作,再输送到通道注意力层处理。

5.如权利要求1所述的一种基于RGB‑D特征融合的场景语义分割方法,其特征在于,所述上下文特征处理网络对高层融合特征分别进行一次1×1空洞卷积操作、一次全局池化操作和多次膨胀系数不同的3×3空洞卷积操作。

6.一种基于RGB‑D特征融合的场景语义分割系统,其特征在于,包括:图像获取模块,其被配置为:获取待分割场景的RGB图像和深度图像;

语义分割模块,其被配置为:将RGB图像和深度图像同时输入场景语义分割模型中,得到场景语义分割结果;

其中,场景语义分割模型的编码器分别采用RGB分支和深度分支对所述RGB图像和深度图像处理,处理过程中采用RGB‑D特征融合网络进行RGB特征和深度特征的融合,得到多个低层融合特征和一个高层融合特征;所述多个低层融合特征经过特征细化网络处理后进入解码器;所述高层融合特征经过上下文特征处理网络后进入解码器;所述解码器通过上采样层和RGB‑D特征融合网络对多个低层融合特征和一个高层融合特征进行处理得到待分割场景的特征;

所述RGB‑D特征融合网络具体为:

连接RGB特征和深度特征,得到拼接特征;

同时将RGB特征、深度特征和拼接特征分别进行全局平均池化处理后送入不同的MLP层;

MLP层输出元素相加之后的结果,经由Sigmoid函数处理;

处理后的结果分别与RGB特征与深度特征进行通道乘法之后再进行元素相加,得到输出结果。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑5中任一项所述的一种基于RGB‑D特征融合的场景语义分割方法中的步骤。

8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑5中任一项所述的一种基于RGB‑D特征融合的场景语义分割方法中的步骤。