1.一种时空上下文融合的无人艇电子稳像及目标检测方法,该方法包含下列步骤:步骤S1读取摄像头实时图像帧;
步骤S2使用通过改进的YOLOv5神经网络检测出所有目标;改进的YOLOv5神经网络,包括:(1)使用K‑Means++算法替换原YOLOv5神经网络采用的锚框生成算法,K‑Means++算法包含以下步骤:①在数据点之间随机选择一个中心u1,u1指第一个中心点;
②对于尚未选择的每个数据点x,计算 其中i为中心点的标号;j为中心点的数量;distance为距离;即计算每个数据点x与最接近该数据点的中心点之间的距离;
③使用加权概率分布随机选择一个新的数据点作为新中心,其中选择的数据点x的概率与 成正比;
④重复②和③,直到选择了k个中心点,其中k为类别的数量;
⑤以选择出的k个中心点为初始中心点,进行k均值算法;
(2)使用EfficientFormer网络替换YOLOv5神经网络的C3结构主干网络:EfficientFormer网络由补丁嵌入和元变换器块堆栈组成,其中补丁嵌入表示为PatchEmbed,元变换器块堆栈表示为MB,组成关系如下所示:式中X0是输入图像,B为批尺寸,[C,D]为特征图的大小,y是期望输出,m是块总数,MB由未指定的令牌混合器和MLP块组成,其中令牌混合器表示为TokenMixer,MLP块表示为MLP,组成关系如下所示:Xl+1=MBl(Xl)=MLP(TokenMixer(Xl)) (2)其中,Xl是第l个MB的特征图,进一步将阶段定义为处理具有相同空间大小的特征的多个元块的堆栈;
步骤S3使用时空上下文融合策略,记录当前图像帧水面目标的类别以及目标框的位置,继续读取摄像头下一帧图像,并将两帧图像范围缩小至目标框内;
步骤S4使用尺度不变特征转换算法并采用最近邻比次近邻的特征点匹配策略,对步骤S3中范围缩小后的两帧图像作特征点检测与匹配;
步骤S5使用基于自适应卡尔曼滤波的图像变换矩阵滤波对步骤S3中读取的图像作运动补偿,跳转S2。
2.根据权利要求1所述时空上下文融合的无人艇电子稳像及目标检测方法所述,其中步骤S3所述的时空上下文融合策略,包括:在目标检测与电子稳像中加入时空上下文融合策略,时间上下文体现在电子稳像过程中的特征点检测与匹配是通过对比当前帧与上一帧图像的运动关系完成的;空间上下文体现在目标检测记录检测框的位置,特征点检测与匹配是针对相同目标框内的图像进行的,缩小图像范围,避免大面积重复的水面和天空极易出现的误匹配。
3.根据权利要求1所述时空上下文融合的无人艇电子稳像及目标检测方法所述,其中步骤S4所述的尺度不变特征转换算法,其包含以下步骤:①通过高斯滤波构造不同尺度和参数的高斯差分金字塔,搜索所有尺度上的图像位置,通过高斯差分金字塔模拟高斯微分函数来识别极值点,图像I(a,b)的高斯尺度空间公式如下:其中L是图像在不同解析度下的表示;G是高斯函数;I是图像大小;(a,b)为图像的像素位置,a为横坐标,b为纵坐标;σ代表尺度空间因子,值越小表示图像被平滑的越少,相应的尺度也就越小,大尺度对应于图像的概貌特征,小尺度对应于图像的细节特征; 代表卷积运算;
②得出不同尺度下的特征点后,由高斯尺度空间生成高斯差分尺度空间,高斯差分尺度空间可由如下公式表示:其中o为比例系数;
③对图像阈值化从而去除噪声,保留满足以下公式的区域:其中T设定为0.04,n为待提取的图像数,abs(val)为图像的像素值;
④在高斯差分金字塔中寻找极值点a0;
⑤在检测到的极值点处,通过以下公式作三元二阶泰勒展开对特征点的位置进行修正,使得特征点出现在亚像素位置:T
其中f(a)为极值点处的三元二阶泰勒展开式; 为 的转置;f 为f(a)的转置;为偏导符号;
⑥满足以下公式的点定义为对比度低的点,将其去除;
⑦去除满足矩阵行列式Det(M)<0以及矩阵行列式和迹不满足 的特征点从而去除边缘点,其中M为黑塞矩阵;Tr(M)为M的迹;Det(M)为M的行列式;γ0为有实际意义的经验值,这里设定为10。
4.根据权利要求1所述时空上下文融合的无人艇电子稳像及目标检测方法所述,其中步骤S4所述的最近邻比次近邻的特征点匹配策略,其公式如下:其中ratio为最近的距离除以次近的距离得到的比率。
5.根据权利要求1所述时空上下文融合的无人艇电子稳像及目标检测方法所述,其中S5所述的基于自适应卡尔曼滤波的图像变换矩阵滤波包含以下步骤:①观测噪声与预测噪声记为 和 状态方程和观测方程如下:其中St为状态向量;Φt,t‑1为状态转移矩阵;Zt为观测向量;Ht为观测矩阵;Wt‑1为系统噪声;Vt为观测噪声; 为观测噪声的均值;为预测噪声的均值;记②计算预测状态 和噪声协方差矩阵K;
T
其中Φt,t‑1为Φt,t‑1的转置; 为系统噪声协方差矩阵;
③更新滤波器增益Kt;
T
其中Ht为Ht的转置; 为观测噪声的协方差矩阵;
④计算残差εt;
⑤更新状态向量 和噪声协方差矩阵Pt;
Pt=(I‑KtHt)Pt,t‑1 (16)⑥计算加权系数dt,式中c为松弛因子;
⑦更新 考虑到测量精度与匹配点对数正相关,更新T
式中g为匹配点对数et对测量精度的影响,g越大,表示点数对测量精度的影响越大;εt为εt的转置。