利索能及
我要发布
收藏
专利号: 2021114843313
申请人: 海南大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-11-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于轻量级多尺度信息融合网络的语义分割方法,其特征在于,所述方法包括:输入高分辨率图片,并对所述高分辨率图片进行图像特征提取,获取浅层空间语义信息和深层空间语义信息;

通过跳跃学习对所述浅层空间语义信息和所述深层空间语义信息进行特征信息融合,得到融合后的语义信息;

通过金字塔注意力机制消除所述融合后的语义信息的语义鸿沟;

对消除语义鸿沟后的所述融合后的语义信息,通过多尺度密集拼接模块以不同的膨胀率和多尺度密集连接方式学习多尺度上下文信息;

所述通过金字塔注意力机制消除所述融合后的语义信息的语义鸿沟包括:

将所述融合后的语义信息的原始的低级特征F1通过深度可分离卷积转化为高级特征Fh;以及将低级特征图Fl通过1×1卷积转化为高级特征图 然后将高级特征图 通过自适应平均池化转化为通道向量Vca和空间张量Vsa,并通过自适应最大池化获得相似的通道向量Vcm和空间张量Vsm,将空间张量Vsa和Vsm重构形状为向量,并与通道向量Vca和Vcm进行拼接得到新的向量Va和Vm;

Va和Vm由一个共享多层感知器和一个隐藏层共同学习,以生成金字塔注意向量;两个金字塔注意向量添加元素以获得混合金字塔注意向量,该混合金字塔注意向量由sigmoid激活函数归一化;最后,混合金字塔注意力向量的权重与高级特征图相乘得到输出。

2.如权利要求1所述的方法,其特征在于,所述通过多尺度密集拼接模块以不同的膨胀率和密集连接方式学习多尺度上下文信息具体包括:输入特征映射通过1×1的协同进化降低所述语义信息的通道维数;

通过四条具有不同膨胀率的路径,学习所述语义信息多个层次的对象;

整合所述四条路径学习后的语义信息,以获取局部多尺度上下文信息。

3.如权利要求2所述的方法,其特征在于,所述通过多尺度密集拼接模块以不同的膨胀率和密集连接方式学习多尺度上下文信息还包括:通过残差连接的先验知识对所述局部多尺度上下文信息进行修正。

4.如权利要求2所述的方法,其特征在于,所述通过多尺度密集拼接模块以不同的膨胀率和密集连接方式学习多尺度上下文信息还包括:通过全局上下文模块提取所述高分辨率图片的全局上下文信息。

5.一种基于轻量级多尺度信息融合网络的语义分割装置,其特征在于,所述装置包括:金字塔细化连接模块,用于对高分辨率图片进行图像特征提取,获取浅层空间语义信息和深层空间语义信息;通过跳跃学习对所述浅层空间语义信息和所述深层空间语义信息进行特征信息融合,得到融合后的语义信息;通过金字塔注意力机制消除所述融合后的语义信息的语义鸿沟;

轻量级信息融合模块,用于对消除语义鸿沟后的所述融合后的语义信息,通过多尺度密集拼接模块以不同的膨胀率和多尺度密集连接方式学习多尺度上下文信息;

所述金字塔细化连接模块,具体用于将所述融合后的语义信息的原始的低级特征F1通过深度可分离卷积转化为高级特征Fh;以及将低级特征图F1通过1×1卷积转化为高级特征图 然后将高级特征图 通过自适应平均池化转化为通道向量Vca和空间张量Vsa,并通过自适应最大池化获得相似的通道向量Vcm和空间张量Vsm,将空间张量Vsa和Vsm重构形状为向量,并与通道向量Vca和Vcm进行拼接得到新的向量Va和Vm;Va和Vm由一个共享多层感知器和一个隐藏层共同学习,以生成金字塔注意向量;两个金字塔注意向量添加元素以获得混合金字塔注意向量,该混合金字塔注意向量由sigmoid激活函数归一化;最后,混合金字塔注意力向量的权重与高级特征图相乘得到输出。

6.如权利要求5所述的装置,其特征在于,所述轻量级信息融合模块还用于:输入特征映射通过1×1的协同进化降低所述语义信息的通道维数;

通过四条具有不同膨胀率的路径,学习所述语义信息多个层次的对象;

整合所述四条路径学习后的语义信息,以获取局部多尺度上下文信息。

7.如权利要求6所述的装置,其特征在于,所述轻量级信息融合模块还用于:通过残差连接的先验知识对所述局部多尺度上下文信息进行修正。

8.如权利要求7所述的装置,其特征在于,所述轻量级信息融合模块还用于:通过全局上下文模块提取所述高分辨率图片的全局上下文信息。