1.一种面向遮挡行人的监控方法,其特征在于,所述方法包括以下步骤:采集端:采集待识别的行人图像;
特征提取端:对采集到的行人图像,通过提取器ResNet50进行特征提取,得到行人图像特征图;
特征擦除端:采用交叉擦除策略对所述特征图进行擦除,构建对抗损失函数,迭代优化特征图交叉擦除模块的参数;
所述的交叉擦除策略为对于两张面积为A=H×W的行人图像特征图f1和f2,其中H和W分别表示高度和宽度;随机裁剪出面积为a=h×w的patch,即p1和p2;接着,将p1放大至f2面积的一半后作为掩码覆盖在f2的底部,从而得到f′1;同样,将p2放大至f1面积的一半后作为掩码覆盖在f1的底部,从而得到f′2;
特征注意端:将经过擦除处理的特征图输入到遮挡感知混合注意力模块中,使网络聚焦行人的非遮挡区域;
所述的遮挡感知混合注意力模块由空间注意力和通道注意力组成,具体步骤如下所示:将输入的特征F划分为三个分支进行处理;第一个分支直接对特征图交叉擦除模块获得c的特征图进行处理;具体来说,F经过通道注意力CA之后得到F,CA是对ECA进行了优化的结果,相比ECA增加了一个元素级相加的操作;公式如下:c
F=CA(F)
3×3 5×5 3×3 5×5
接着,对输入特征F分别应用3×3卷积和5×5卷积得到F 和F ,然后将F 和F 通过空间注意力SA得到 和 公式如下:
3×3 3×3
接下来,以F 为例介绍SA;首先,将F 沿高度维度进行分割得到 和 公式如下:其中Φ(·)表示分割函数;随后,将分割后的特征图沿着通道维度进行全局平均池化和全局最大池化,接着沿着高度维度进行拼接得到特征图 公式如下:其中avgp(·)表示全局平均池化,maxp(·)表示全局最大池化,C表示拼接操作;然后,经过各卷积块得到 再经过BN,ReLU和Sigmoid后得到 公式如下:
3×3
其中,C1×1表示1×1卷积,LC3×3表示轻量化的3×3的卷积;将 和F 进行元素级相
3×3
乘得到 再与F 进行元素级相加得到 公式如下:其中, 表示元素级相加, 表示元素级相乘;然后,将得到的特征 和 先进行元c素级相加得到F′,随后再与第一个分支得到F进行拼接得到F″,公式如下:c
F″=C(F′,F)
最后,将无噪声的特征F″与输入特征F逐元素相加得到F″′,公式如下:特征增强端:利用全视域增强模块扩大网络感受野,得到行人图像最终鉴别特征,构建基线损失函数,迭代优化网络的参数;
所述的全视域增强模块采用多分支膨胀卷积的结构,包括1×1卷积、3×3卷积、不同膨胀系数的膨胀卷积、拼接、ReLU和元素级相加操作;其中,不同膨胀系数的膨胀卷积由四种不同膨胀系数的3×3膨胀卷积构成,膨胀系数分别为1、3、5和7;
监控中心:将提取到的行人图像最终鉴别特征与图像库中的各个行人图像进行相似性度量,输出匹配列表。
2.根据权利要求1所述的面向遮挡行人的监控方法,其特征在于,所述的对抗损失函数为两个对抗性的交叉熵损失。
3.根据权利要求1所述的面向遮挡行人的监控方法,其特征在于,所述的基线损失函数为交叉熵损失和难样本三元组损失。
4.根据权利要求1所述的面向遮挡行人的监控方法,其特征在于,所述相似性度量通过计算行人图像特征之间的余弦相似度,得到最终的匹配结果,以余弦相似度从大到小生成匹配列表。
5.一种面向遮挡行人的监控系统,其特征在于,用于执行权利要求1至4任一项所述的面向遮挡行人的监控方法。