1.一种基于MCU的单目标追踪系统,包括摄像装置和用户交互装置,其特征在于:摄像装置上连接设置有若干片MCU,若干片MCU上布置有神经网络,神经网络包括图像特征融合网络,图像特征融合网络的输入层上连接设置有模版图像特征提取网络和实例图像特征提取网络,图像特征融合网络的输出层上连接设置有置信度输出头和位置信息输出头;若干片MCU为与摄像装置并联的算法运行MCU和主控MCU,主控MCU上连接设置有用户交互装置;
算法运行MCU上部署有模块图像特征提取网络、实例图像特征提取网络和通过输入层与两个提取网络相连的图像特征融合网络,主控MCU上部署有与图像特征融合网络输出层相连的置信度输出头和位置信息输出头;图像特征融合网络为两个并行的卷积注意力CBAM模块,每个CBAM模块首先会利用两个独立的卷积层进一步提取模版图像与实例图像的特征,进一步提取完成后将三维的图像特征通过压缩后两个维度的方法压缩成为二维的图像特征矩阵,之后将模版图像与实例图像的特征矩阵相乘再还原为三维的图像特征,得到各个特征的维度后,再依次通过平均池化层,两个卷积层,sigmoid运算后得到每个特征的权重,最后对通道进行加权,得到最终的运算结果;系统的具体追踪方法步骤如下:步骤1:获取模版图像并对模版图像进行数据前处理;处理后输入模版图像特征提取网络输出模版图像特征;
步骤2:获取实例图像并对实例图像进行数据前处理;处理后输入实例图像特征提取网络输出实例图像特征;
步骤3:将模版图像特征和实例图像特征输入图像融合网络进行运算得到未未经处理的预测数据;
步骤4:进行置信度数据后处理;
步骤4.1:对数据前处理后的实例图像划分锚点,对锚点进行标号;每个锚点都包含置信度数据和位置信息数据;
步骤4.2:置信度输出数据为256x2的双通道数据,置信度的数据为经过softmax函数处理后的第二个通道的数据,将第i个锚点上的置信度记为ci步骤5:进行位置数据后处理,得到预测的标定框,根据新的标定框重新确定下一帧的实例图像,从而进行循环完成对目标的追踪;步骤5.1:通过计算每个锚点的数据通道数据,得到标定框在经过数据前处理后的实例图像中的位置,计算公式如下:其中x1,y1为预测的标定框左上角坐标的横坐标与纵坐标,x2,y2为标定框右下角坐标的横纵坐标,xa,ya为锚点所在位置的横坐标与纵坐标,v1、v2、v3、v4分别为锚点位置通道的数据;
步骤5.2:依次计算每个锚点的可信系数p.
为了便于表达约定sz(w,h)运算与change(x)运算为如下的计算方式:可信系数p的计算公式如下:
其中,p为可信系数,ps为边框可信系数,pr为比例可信系数,λ为数据前处理中得到的变化系数;w,h为上一帧计算得到的标定框的宽与高;pk为可修改的超参数;
步骤5.3:根据每个锚点的置信度以及可信系数,计算修正后的可信系数p':pi'=ci×pi(1‑lw)+wi×lw
其中,ci为第i个锚点上的置信度,pi为第i个锚点上的可信系数,lw为窗的影响系数,wi是所加二维矩阵中锚点对应位置的数值;
步骤5.4:取修正后的可信参数最大的锚点上的位置信息,作为预测结果,并根据选出的锚点位置获得更新系数,更新系数计算公式如下:γ=cb×pb×lr
其中γ为更新系数,cb为选出的锚点置信度,pb为选出的锚点可信系数,lr为更新系数,是个超参数;
步骤5.5:更新标定框的信息,标定框的表示方式在本方法中为标定框的中心以及宽高,标定框更新的公式如下:式中xc',yc',w',h'为更新后标定框中心点坐标以及宽高,xc,yc,w,h为更新前坐标,γ为更新系数,x1,y1为选出锚点所预测的标定框左上角坐标的横坐标与纵坐标与右下角坐标的横纵坐标;
步骤5.6:对预测坐标进行映射,将被预测结果中的模版图像坐标投影回到原图坐标,投影公式如下:式中,式中xcr',ycr',wr',hr'为映射回原图像的标定框中心点坐标以及宽高,xc',yc',w',h'为更新后标定框中心点坐标以及宽高,λ为数据前处理中记录的变化系数步骤6:进行插帧操作。
2.根据权利要求1所述的一种基于MCU的单目标追踪系统,其特征在于:模块图像特征提取网络和实例图像特征提取网络结构相同,均为轻量化设计的卷积神经网络。
3.根据权利要求1所述的一种基于MCU的单目标追踪系统,其特征在于:置信度输出头和位置信息输出头均为若干卷积块拼接而成,每一个卷积块为两层卷积层拼接一层标准层。
4.根据权利要求1所述的一种基于MCU的单目标追踪系统,其特征在于:步骤1具体步骤如下:步骤1.1:人为框选标定框,根据给定的标定框的范围,确定需要裁剪图像的范围,裁剪区域为正方形,对模版图像进行裁剪,则裁剪区域边长为:其中L为裁剪区域正方形的边长,w为标定框的宽,h为标定框的高;
步骤1.2:确定获得裁剪区域的具体区域,设标定框中心位置为(x0,y0),则最后裁剪区域是以(x0,y0)为中心,边长为L的一个正方形区域;
步骤1.3:对超出图像边界的部分进行颜色填充,使用的颜色为图像的平均颜色,所述平均颜色的计算方法为,对图像的RGB色彩通道分离出来的每个计算通道颜色的平均值,最后在组合回RGB色彩通道的颜色;
步骤1.4:将裁剪出的区域调整大小调整到统一的大小,模版图像调整的尺寸为
127x127。
5.根据权利要求1所述的一种基于MCU的单目标追踪系统,其特征在于:步骤2具体步骤如下:步骤2.1:根据给定的标定框的范围,确定需要裁剪图像的范围,裁剪区域为正方形,若实例图像是第一帧图像,则给定的标定框为人为框选的标定框,此外若非第一帧图像,标定框则为通过上一帧实例图像预测的结果;对实例图像进行裁剪,则裁剪区域边长为:其中L为裁剪区域正方形的边长,w为标定框的宽,h为标定框的高;
步骤2.2:确定获得裁剪区域的具体区域,设标定框中心位置为(x0,y0),则最后裁剪区域是以(x0,y0)为中心,边长为L的一个正方形区域;
步骤2.3:对超出图像边界的部分进行颜色填充,使用的颜色为图像的平均颜色,所述平均颜色的计算方法为,对图像的RGB色彩通道分离出来的每个计算通道颜色的平均值,最后在组合回RGB色彩通道的颜色;
步骤2.4:将裁剪出的区域调整大小调整到统一的大小,实例图像调整的尺寸为
255x255。