利索能及
我要发布
收藏
专利号: 202510533490X
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于边界强化的海上环境自适应感知方法,其特征在于,包括如下步骤:步骤1. 获取海上环境感知的原始图像数据集,对原始图像进行数据增强,并针对每幅原始图像获取其边界真值,边界真值与原始图像一一对应组成训练数据集;

步骤2. 搭建语义‑边界多层次强化的船载相机图像理解模型,其包括边界特征编码流、语义特征编码流、边界‑语义特征融合流以及融合特征解码器;

边界特征编码流以及语义特征编码流分别用于对输入模型的边界真值和原始图像进行编码;每个编码流均包括级联的四层特征提取层;

边界‑语义特征融合流包括级联的四层特征注意力模块;

每层特征注意力模块分别用于接收边界特征编码流和语义特征编码流对应层的输出,且用于实现对应层边界特征和语义特征的特征交互,以增强边界感知能力;

各层特征注意力模块的输出分别反馈至语义特征编码流的对应层,并与语义特征编码流的对应层的输出一起作为语义特征编码流的下层输入;

边界特征编码流、语义特征编码流、边界‑语义特征融合流的输出结果输入融合特征解码器,经方向、位置和通道三维特征注意力强化后,输出海上环境感知分类结果;

步骤3. 利用训练数据集训练语义‑边界多层次强化的船载相机图像理解模型;将实时获取的海上环境感知的图像数据输入训练好的模型,得到海上环境自适应感知结果。

2.根据权利要求1所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述步骤1中,训练数据集的获取方式如下:首先获取用于海上环境感知的原始图像数据集,对原始图像进行数据增强预处理,以扩充原始图像数据的数量;其中,数据集真值为逐像素类别标注的灰度图像;

通过调整图像属性进行数据增强,图像属性包括曝光、对比度、饱和度和/或色调;

同时针对每幅原始图像获取其边界真值,边界真值与原始图像一一对应;

其中,边界真值的获取方式如下:首先通过伪彩色编码将灰度图转换为多类别RGB图像,再应用 Canny 边缘检测算法提取边界,最终得到边界真值。

3.根据权利要求1所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述边界特征编码流采用ResNet18网络;将ResNet18网络的第1至4个残差卷积层,作为边界特征编码流的四层特征提取层;每个残差卷积层的输出分别输入边界‑语义特征融合流,以实现边界真值与语义特征的逐级交互,促进双向特征学习;

边界特征编码流以最后一层残差卷积层的输出尺寸为基准进行空间下采样,最终将各个残差卷积层形成的多尺度边界特征图拼接后作为边界特征编码流的输出。

4.根据权利要求1所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述语义特征编码流基于Conformer‑S架构构建;将Conformer‑S架构的前四层Conformer层作为语义特征编码流的四层特征提取层;每层Conformer层的输出分别输入边界‑语义特征融合流,以实现边界真值与语义特征的逐级交互,促进双向特征学习;

同时,每层Conformer层还会接收边界‑语义特征融合流对应层的反馈信息;

语义特征编码流以最后一层Conformer层的输出尺寸为基准进行空间下采样,最终将各层Conformer层形成的多尺度语义特征图拼接后作为语义特征编码流的输出。

5.根据权利要求1所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述边界‑语义特征融合流包含4层级联的特征注意力模块,每层特征注意力模块分别用于接收边界特征编码流与语义特征编码流对应层级的输出,并进行特征交互;

边界‑语义特征融合流以最后一层特征注意力模块的空间尺寸进行下采样,最后各层特征注意力模块输出的特征图进行通道维度拼接,形成边界‑语义特征融合流的多尺度特征输出。

6.根据权利要求1所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述特征注意力模块的处理流程如下:首先输入特征注意力模块的边界特征与语义特征逐元素相加形成联合特征一;

联合特征一分为两支,一支引入非线性变换的ReLU激活函数处理,使模型增强对边界精细结构的表达能力,另一支经全局平均池化聚合全局语义信息后再通过ReLU激活;

两支处理结果逐元素相加得到联合特征二;

联合特征二与联合特征一逐元素相乘,生成基于交互后特征的注意力权重,再分别与边界、语义特征相乘,以针对性强化边界细节与语义内容的有效信息;

最后逐元素相加,将边界特征的定位细节与语义特征的抽象理解整合,得到融合特征。

7.根据权利要求1所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述融合特征解码器包括多级注意力融合模块以及空洞卷积池化金字塔模块;

多级注意力融合模块在接收到边界特征编码流、语义特征编码流以及边界‑语义特征融合流的输出后,融合三种特征并增强模型对它们之间相关关系的理解;

多级注意力融合模块包括多分支跨通道注意力模块和协同注意力模块;

多分支跨通道注意力模块利用多分支跨通道交互结构,自适应学习通道权重,建立通道与其权重之间的直接关联,反映语义特征和边界特征在规模和类型维度上的全局贡献;

协同注意力模块通过捕捉两个方向的空间特征并生成注意力图,互补地增强输入特征图中的感兴趣对象表示,以解决多分支跨通道注意力模块在处理方向和位置信息方面的不足;

空洞卷积池化金字塔模块用于接收来自多级注意力融合模块以及语义特征编码流的输出,在扩大感受野的同时,保证输出图像的分辨率;

最终通过卷积核大小为1×1的卷积层调整通道数后,输出海上环境感知分类结果。

8.根据权利要求1所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述步骤3中,在模型训练过程中引入边界特征鉴别器;其中,语义‑边界多层次强化的船载相机图像理解模型输出的海上环境感知分类结果为灰度图像;

将灰度图像中各像素点的类别信息映射为对应的RGB颜色值进行伪彩色渲染,作为边界提取的输入,采用Canny算子对伪彩色图像进行边界检测,最终获得边界预测值;

紧接着采用Jitendra’s采样方法进行边界点采样,通过随机排列点集,计算点对之间的距离矩阵,逐步删除距离最近的点对,以确保采样点均匀分布;

边界特征鉴别器比较边界预测值和边界真值的相似性,量化边界特征的差异,并在特征融合与解码阶段动态调整边界特征的权重,以提升模型对边界信息的敏感性和理解能力。

9.根据权利要求8所述的基于边界强化的海上环境自适应感知方法,其特征在于,所述步骤3中,得到采样点后,首先计算每个点的全局相似度,过程如下:对每个采样点构建极对数坐标系,将邻近采样点映射至各区域,统计各区域内的点数并归一化,生成形状上下文直方图矩阵,采用卡方统计量化边界相似度;

假设共采样 个点,每点设 个角度和 个距离区域,获得边界真值和边界预测值的形状上下文矩阵,分别记为 和 ,代入卡方公式计算相似度度量矩阵 ;

使用局部方向来评估边界的局部特征相似度,过程如下:

首先计算边界真值与边界预测结值的梯度分量,并提取轮廓点的梯度值以获得切向角和 ,定义切向角非相似性函数作为局部方向的相似性度量 ;

将相似度度量矩阵 、 进行加权求和,输出总相似度度量矩阵 ;

将总相似度度量矩阵 抽象为距离矩阵,并通过引入伪点的匈牙利算法求解,以获得最小化总损失的点对匹配关系;依据匹配索引从矩阵 中提取采样点的相似度得分 ;

定义相似度阈值 ,在多分支跨通道注意力模块的最后阶段,特征输入与注意力向量逐元素相乘后的结果通过1×1卷积层调整通道数后进行拼接;

当边界特征鉴别器未激活时,预设边界特征、语义特征和融合特征的初始通道数之比;

当激活边界特征鉴别器后,边界特征、语义特征和融合特征的通道数之比根据 和 进行动态调整;若 > ,提高边界特征在整体特征中的权重;否则保持初始通道数之比不变。

10.一种基于边界强化的海上环境自适应感知系统,搭载于USV上,其包括相机以及计算机设备;相机用于实时获取的海上环境感知的图像数据,并上传至计算机设备;

其中,计算机设备包括存储器以及处理器;

在存储器上存储有可执行代码,其特征在于,当处理器执行所述可执行代码时,用于实现如权利要求1至9任一项所述的基于边界强化的海上环境自适应感知的步骤。