1.一种基于傅里叶单像素成像系统的重构检测框架系统,其特征在于:包括通信连接的图像重建模块、目标检测模块和联合训练策略模块;
图像重建模块包括空间自适应的重建网络,通过重建网络从欠采样图像中提取特征用于傅里叶单像素成像FSPI重建,获得傅里叶单像素成像重建结果;图像重建模块包括空间特征注意力模块和自适应特征聚合模块,重建网络能够在保证优异重建性能的同时,显著降低了模型复杂度,从而降低了重构检测框架中强加的额外计算负担;
将傅里叶单像素成像重建结果送入目标检测模块进行目标检测,在目标检测模块中,选择目标检测网络YOLOv5作为目标检测模块的基准模型,将目标检测网络YOLOv5中的快速空间金字塔池化模块优化成混合快速空间金字塔池化模块,以实现增强了对全局信息的提取克服低采样时信息损失较多的问题;并在目标检测模块引入可变形卷积网络以实现有效缓解固定卷积层无法充分捕捉形状不规则物体的问题;
联合训练策略模块利用检测损失,通过反向传播指导傅里叶单像素成像系统的重构检测框架系统的训练,强制重建网络生成更适合检测的图像,以进一步提升低采样率下目标检测的最终性能。
2.根据权利要求1所述的一种基于傅里叶单像素成像系统的重构检测框架系统,其特征在于:重建网络为7级编码器‑解码器网络,具有4层编码器、3层解码器的结构,重建网络的每一层都包含若干个空间特征注意力,以使网络能够全面理解并有效利用空间信息进行傅里叶单像素图像重建。
3.根据权利要求1所述的一种基于傅里叶单像素成像系统的重构检测框架系统,其特征在于:利用图像重建模块的重构阶段:
步骤1)在编码器中,将图像首先经历一个步长为1的3×3卷积操作来调整通道,然后,通过空间特征注意力模块和步长为2的3×3卷积操作,用于下采样和特征提取,提取的特征随后被用作解码器的输入;
步骤2)在解码器中,特征通过像素洗牌1×1卷积操作和空间特征注意力模块进行上采样和重建,为避免信息丢失,编码器中每个下采样步骤的特征通过跳跃连接连接到相应的解码器层;
步骤3)在解码器结束时,使用步长为1的3×3卷积操作将特征调整为单通道;
最后,将逐像素添加到原始图像中,得到图像的重建结果,即重构图像。
4.根据权利要求3所述的一种基于傅里叶单像素成像系统的重构检测框架系统,其特征在于:步骤2)中由于编码器和解码器中的特征在语义上不同,因此在解码器的跳跃连接点处时使用自适应特征聚合模块,通过自适应特征聚合模块动态聚合不同层次特征之间的信息,过滤冗余信息。
5.根据权利要求1所述的一种基于傅里叶单像素成像系统的重构检测框架系统,其特征在于:目标检测模块的检测阶段:
步骤1)将重构图像输入检测网络,目标检测网络YOLOv5包括骨干网络、颈部以及若干个检测头;
步骤2)在骨干网络中,通过混合快速金字塔池化模块能够更加全面捕捉特征的全局和局部信息,混合快速金字塔池化模块结合平均池化和最大池化,在特征提取时融合全局和局部信息,混合快速金字塔池化模块在原有的最大池化分支基础上引入了一个额外的平均池化分支,类似地连接三个平均池化层;
步骤3)在颈部中,引入可形变卷积以提高低采样图像中形变目标的处理能力;通过可形变卷积,动态调整其内核形状以适应输入特征图中目标位置、大小和方向的变化的卷积操作。
6.根据权利要求4所述的一种基于傅里叶单像素成像系统的重构检测框架系统,其特征在于:联合训练策略模块的联合训练策略:步骤1)在重构阶段,针对不同的采样率训练用于重建的网络,训练过程使用ADAM优化器进行迭代,进行100次迭代,批量大小设置为16,初始学习率为1×10‑4,并采用余弦退火来调整学习率,在训练过程中保存最佳模型;
步骤2)在检测阶段,将FSPI重建结果输入检测器进行训练;使用ADAM优化器进行训练,进行200次迭代,批量大小为16,学习率为1×10‑2,在训练过程中保存最佳模型;
步骤3)在联合训练阶段,加载重构阶段和检测阶段的权重,并同时训练重建网络和检测网络,通过检测损失和重构损失一起调整各自的参数,通过统计各自的损失变化,以及每一轮过程中保存的结果图来决定是否结束训练。
7.根据权利要求1‑6任一项所述的一种基于傅里叶单像素成像系统的重构检测框架系统,其特征在于:核算基于傅里叶单像素成像系统的重构检测框架系统的总损失如下,其中α和β均设为1:L=αLrec+βLdet (1)
在重建模块中,损失函数主要由像素损失和感知损失组成,重建模块损失如下所示,λ设为0.01:Lrec=L1+λLper (2)
像素损失L1表示为:
其中n为图像中的像素个数,ya为FSPI重建结果,y为原始图像;
感知损失记为Lper,表示为:
其中,m表示VGG‑19网络的层数,φi表示VGG‑19中用于计算损失的每一层;
在目标检测模块中,检测网络的损失简单表示为:
Ldet=αboxLClou+αobjLobj+αclsLcls (5)其中αbox、αobj、αcls表示对应项的权重,LCIou表示回归框损失,Lobj表示对象置信度损失,Lcls表示类别损失;
LCIou是一种综合考虑重叠面积、中心点距离和宽长比的回归框损失函数;LCIou可以表示为:gt
其中,IOU是检测框与真实框之间的交并比,ρ(b,b )是检测框与真实框中心之间的距gt gt离,w和w 分别是检测框与真实框的宽度值,h和h 分别是检测框与真实框的长度值,公式(5)中的Lobj和Lcls都是二进制交叉熵函数,公式如下:其中yi是二进制标签0或1,p(yi)是输出属于标签yi的概率。