1.一种基于多任务特征融合共享学习的低光照行人检测方法,其特征在于,包括:S1:获取正常光照行人数据集和低光照行人数据集;
S2:构建图像光照增强网络,所述图像光照增强网络包括分解网络和增强网络,利用所述正常光照行人数据集和所述低光照行人数据集对所述图像光照增强网络进行训练,得到图像光照增强预训练模型;
S3:构建自校准分离注意力模块SCSAB,所述自校准分离注意力模块结合了自校准卷积网络和分离注意力网络,用于收集输入图像中每个空间位置的信息,以扩展每个卷积层的视野;
S4:构建自校准分离注意力沙漏网络,所述自校准分离注意力沙漏网络的基础模块由SCSAB组成;
S5:构建行人检测网络,所述行人检测网络由所述自校准分离注意力沙漏网络作为主干网络,利用所述正常光照行人数据集对所述行人检测网络进行训练,得到行人检测预训练模型;
S6:基于多任务特征融合共享学习,设计一个能够融合上下游任务之间特征的多任务特征融合模块,对所述图像光照增强网络和所述行人检测网络进行特征融合与共享,构建多任务特征融合共享学习的低光照行人检测网络;
S7:将所述图像光照增强预训练模型和所述行人检测预训练模型导入到所述多任务特征融合共享学习的低光照行人检测网络,并利用所述正常光照行人数据集和所述低光照行人数据集对所述多任务特征融合共享学习的低光照行人检测网络进行训练,得到多任务特征融合共享学习的低光照行人检测模型,以通过所述多任务特征融合共享学习的低光照行人检测模型对待检测图像进行检测,得到所述待检测图像中行人的位置。
2.根据权利要求1所述的方法,其特征在于,步骤S6包括:
将所述图像光照增强网络的第一个卷积网络的特征和所述自校准分离注意力沙漏网络的倒数第二个SCSAB的特征进行相加后取平均数再通过sigmoid函数,并在下一次迭代中反馈给两个网络,将所述图像光照增强网络的倒数第四个卷积网络的特征和所述自校准分离注意力沙漏网络的第一个SCSAB的特征也进行相加后取平均数再通过sigmoid函数,并在下一次迭代中反馈给两个网络,从而构建多任务特征融合共享学习的低光照行人检测网络。
3.根据权利要求1所述的方法,其特征在于,基于RetinexNet卷积神经网络构建所述图像光照增强网络,其中,所述图像光照增强网络的损失函数Lenh为:Lenh=Lrecon+λirLir+λisLis,λir和λis为权重系数,Lrecon,Lir和Lis分别表示重建,反射率和照明平滑度损失函数。
4.根据权利要求3所述的方法,其特征在于,所述行人检测网络的损失函数Lcor为:Lcor=Ldet+δLpull+ηLpush+γLoff,其中,δ,η和γ分别为Lpull,Lpush和Loff三个损失函数的权重,Ldet为角点损失,Lpull用来对角进行分组,Lpush对角进行分离,Loff为偏移损失。
5.根据权利要求4所述的方法,其特征在于,
Ldet为角点损失,N是图像中对象的数量,α和β是控制每个角点的贡献的超参数,C,H和W分别代表输入的通道数,高度和宽度,paij为预测图像中a类的(i,j)位置处的得分,yaij为未经归一化的原始图像;
Loff为偏移损失,ok是偏移量,xk和yk是角点k的x和y坐标,n是下采样因子,表示预测的偏移量与标签的偏移量使用平滑损失计算得到的差
值, 表示预测后的偏移量;
Lpull用来对角进行分组,Lpush对角进行分
离,m表示对象个数, 为对象m的左上角的嵌入, 为对象m的右下角的嵌入,em为 和的平均值,em和ej分别表示对象m和j的嵌入。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:设计特征融合与共享的多任务学习机制,该机制能够融合上下游任务之间特征,并在下一次迭代时反馈给其他网络。
7.根据权利要求6所述的方法,其特征在于,所述特征融合与共享的多任务学习机制为:假设有两个任务,分别是任务A和任务B,任务A网络中卷积层CA1的输出特征为 任务B网络中卷积层CB1的输出特征为 CA2和CB2分别为CA1和CB1的下一个卷积层, 是CA2卷积层的输入特征, 是CB2卷积层的输入特征,Fi为第i次端到端轮次迭代得到的共享特征,其表示如下: 当i=1时, 的表示如下:当i>1时, 的表示如下: Fi‑1表
示第i‑1次端到端轮次迭代得到的共享特征。
8.根据权利要求5所述的方法,其特征在于,所述多任务特征共享的低光照行人检测网络的总训练损失函数为:L=Ldet+Lcor=Ldet+δLpull+ηLpush+γLoff+ζLenh,L为总损失,ζ是光照增强损失Lenh的权重。
9.一种基于多任务特征融合共享学习的低光照行人检测系统,其特征在于,包括:数据集模块,用于获取正常光照行人数据集和低光照行人数据集;
图像光照增强模块,用于构建图像光照增强网络,所述图像光照增强网络包括分解网络和增强网络,利用所述正常光照行人数据集和所述低光照行人数据集对所述图像光照增强网络进行训练,得到图像光照增强预训练模型;
行人检测模块,用于构建行人检测网络,所述行人检测网络以自校准分离注意力沙漏网络为主干网络,利用所述正常光照行人数据集对所述行人检测网络进行训练,得到行人检测预训练模型,其中,所述自校准分离注意力沙漏网络的基础模块由自校准分离注意力模块SCSAB组成,所述自校准分离注意力模块结合了自校准卷积网络和分离注意力网络,用于收集输入图像中每个空间位置的信息,以扩展每个卷积层的视野;
多任务特征融合模块,用于基于多任务特征融合共享学习,设计一个能够融合上下游任务之间特征的多任务特征融合模块,对所述图像光照增强网络和所述行人检测网络进行特征融合与共享,构建多任务特征融合共享学习的低光照行人检测网络;
模型训练模块,用于将所述图像光照增强预训练模型和所述行人检测预训练模型导入到所述多任务特征融合共享学习的低光照行人检测网络,并利用所述正常光照行人数据集和所述低光照行人数据集对所述多任务特征融合共享学习的低光照行人检测网络进行训练,得到多任务特征融合共享学习的低光照行人检测模型;
图像检测模块,用于利用所述多任务特征融合共享学习的低光照行人检测模型对待检测图像进行检测,得到待检测图像中行人的位置。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一项所述基于多任务特征融合共享学习的低光照行人检测方法的步骤。