利索能及
我要发布
收藏
专利号: 2024114159248
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种水体环境目标识别方法,其特征在于,包括:

采集水面漂浮物监测图像,将水面漂浮物监测图像输入至预设的yolov8‑OMCIL网络模型获得漂浮物监测结果;

所述yolov8‑OMCIL网络模型的构建过程包括:

基于yolov8网络模型、混合网络反向残差注意力机制和跨模态注意力机制构建yolov8‑OMCIL网络模型;

获取水面漂浮物目标数据,对水面漂浮物目标数据进行预处理并添加真实标签获得训练样本,通过训练样本对yolov8‑OMCIL网络模型进行训练获得训练识别结果,根据MPDIoU损失函数计算训练识别结果与训练样本之间的训练损失值,基于训练损失值对yolov8‑OMCIL网络模型的权重参数进行优化,重复迭代yolov8‑OMCIL网络模型的训练过程,直至达到迭代阈值输出训练后的yolov8‑OMCIL网络模型。

2.根据权利要求1所述的水体环境目标识别方法,其特征在于,获取水面漂浮物目标数据,包括:获取水面检测视频;按照设定帧数由水面检测视频提取水面检测图片,筛选出包含漂浮物以及图片分辨率大于设定阈值T的水面检测图片后,对水面检测图片进行标准化处理获得尺寸一致的目标图片,记为水面漂浮物目标数据。

3.根据权利要求1所述的水体环境目标识别方法,其特征在于,对水面漂浮物目标数据进行预处理,包括:将目标图片旋转 ;随机将目标图片进行水平和垂直翻转,随机裁剪并缩放目标图片;随机改变目标图片的亮度、对比度、颜色饱和度;在目标图片中添加均值为0,标准差为

0.1的高斯噪声。

4.根据权利要求1所述的水体环境目标识别方法,其特征在于,所述yolov8‑OMCIL网络模型包括骨干网络、头部网络和任务检测网络;

所述骨干网络包括依次连接的第一卷积层、第二卷积层、第一特征融合层、第三卷积层、第二特征融合层、第四卷积层、第三特征融合层、第五卷积层、混合网络反向残差注意力机制模块和SPPF模块;

所述头部网络包括依次连接的第一上采样层、第一连接层、第四特征融合层、第二上采样层、第二连接层、第五特征融合层、第一CotNet模块、第六卷积层、第三连接层、第六特征融合层、第二CotNet模块、第七卷积层、第四连接层、第七特征融合层和第三CotNet模块;

任务检测网络包括第一检测模块、第二检测模块和第三检测模块;

所述第二特征融合层的输出端与所述第二连接层;所述第三特征融合层的输出端与所述第一连接层;所述SPPF模块的输出端与所述第一上采样层连接;

第一上采样层的输出端与所述第四连接层连接;所述第四特征融合层的输出端与所述第三连接层连接;

所述第六卷积层的输出端与所述第一检测模块连接;所述第二CotNet模块的输出端与所述第二检测模块连接;所述第三CotNet模块的输出端与所述第三检测模块连接。

5.根据权利要求4所述的水体环境目标识别方法,其特征在于,第一卷积层、第六卷积层、第七卷积层设定为Conv卷积单元;第二卷积层至第五卷积层设定为ODConv卷积单元;

所述ODConv卷积单元包括依次连接的动态卷积输入层、全局平均池化层、第一全连接层和ReLU激活函数;所述ReLU激活函数连接第二全连接层、第三全连接层、第四全连接层和第五全连接层;所述第二全连接层至第四全连接层均连接单个Sigmoid激活函数层;所述第五全连接层连接Softmax激活函数层;所述Sigmoid激活函数层和Softmax激活函数层连接至n个动态卷积核;n个动态卷积核连接至第一加法器;所述第一加法器和动态卷积输入层均连接至第一乘法器;所述第一乘法器连接动态卷积输出层;

将特征图x输入至ODConv卷积单元获得特征图y,表达公式为:

其中,x表示为ODConv卷积单元的输入特征图,y表示为ODConv卷积单元的输出特征图,表示为第i个动态卷积核的通道注意力权重, 表示为第i个动态卷积核的输出通道注意力; 是第i个动态卷积核的输入通道注意力; 是第i个动态卷积核的空间注意力;

是乘法操作; 表示为第i个卷积核,i取值范围为 。

6.根据权利要求4所述的水体环境目标识别方法,其特征在于,所述混合网络反向残差注意力机制模块包括依次连接的混合网络输入层、第一卷积核、第二乘法器、深度可分离卷积、第二加法器、第二卷积核、第三加法器和混合网络输出层;所述混合网络输入层连接第三加法器和注意力矩阵单元;注意力矩阵单元与第二乘法器连接;所述第二乘法器输出端连接所述第二加法器;所述第一卷积核和第二卷积核设定为1×1卷积。

7.根据权利要求4所述的水体环境目标识别方法,其特征在于,所述第一CotNet模块、第二CotNet模块和第三CotNet模块包括跨模态输入层;所述跨模态输入层连接第三卷积核、第四卷积核和第五连接层;第四卷积核、第五连接层、第五卷积核、第六卷积核、第三乘法器、第四加法器和跨模态输出层依次连接;第三卷积核的输出端连接第六卷积核;所述第四卷积核的输出端连接第四加法器。

8.根据权利要求4所述的水体环境目标识别方法,其特征在于,通过训练样本对yolov8‑OMCIL网络模型进行训练获得训练识别结果,包括:将训练样本输入至所述yolov8‑OMCIL网络模型的骨干网络;由骨干网络中SPPF模块输出特征图P1,将特征图P1输入至第一上采样层;通过第一上采样层对特征图P1进行上采样获得特征图Q1;

由第三特征融合层输出特征图P2,通过第一连接层将特征图Q1和特征图P2进行拼接后,并依次发送至第四特征融合层;由第四特征融合层输出特征图Q2,通过第二上采样层对特征图Q2进行上采样获得特征图Q3;

由第二特征融合层输出特征图P3,通过第二连接层将特征图Q3和特征图P3进行拼接后,并依次发送至第五特征融合层、第一CotNet模块和第六卷积层,由第六卷积层生成检测特征图U1并发送至第一检测模块;

通过第三连接层将检测特征图U1和特征图Q2进行拼接后,并依次发送至第六特征融合层和第二CotNet模块;由第二CotNet模块输出检测特征图U2;

将检测特征图U2依次输入至第七卷积层和第四连接层;通过第四连接层将第七卷积层的输出特征与特征图Q1进行拼接后,并依次发送至第七特征融合层和第三CotNet模块;所述第三CotNet模块输出检测特征图U3;

对检测特征图U1、检测特征图U2和检测特征图U3进行检测获得漂浮物识别框架,记为训练识别结果。

9.根据权利要求1所述的水体环境目标识别方法,其特征在于,根据MPDIoU损失函数计算训练识别结果与训练样本之间的训练损失值,表达公式为:;

其中, 表示为漂浮物识别框架的左上角点坐标; 表示为

漂浮物识别框架的右下角点坐标; 表示为真实标签中漂浮物框架的左上角点坐标; 为真实标签中漂浮物框架的右下角点坐标; 为预漂浮物识别框架与真实标签中漂浮物框架的左上角点之间欧几里得距离的平方; 为预漂浮物识别框架与真实标签中漂浮物框架的右下角点之间欧几里得距离的平方;w和h分别表示真实标签中漂浮物框架的宽度和高度; 为预漂浮物识别框架与真实标签中漂浮物框架的交并比。

10.一种水体环境目标识别系统,其特征在于,包括:

监测模块,用于采集水面漂浮物监测图像,将水面漂浮物监测图像输入至预设的yolov8‑OMCIL网络模型获得漂浮物监测结果;

模型构建模块,用于基于yolov8网络模型、混合网络反向残差注意力机制和跨模态注意力机制构建yolov8‑OMCIL网络模型;

获取模块,用于获取水面漂浮物目标数据,对水面漂浮物目标数据进行预处理并添加真实标签获得训练样本,训练模块,用于通过训练样本对yolov8‑OMCIL网络模型进行训练获得训练识别结果;

根据MPDIoU损失函数计算训练识别结果与训练样本之间的训练损失值,基于训练损失值对yolov8‑OMCIL网络模型的权重参数进行优化,重复迭代yolov8‑OMCIL网络模型的训练过程,直至达到迭代阈值输出训练后的yolov8‑OMCIL网络模型。