1.一种基于深度学习的舰船驾驶台身份识别方法,其特征在于,包括以下步骤:
S1、采集舰船驾驶台中船员的人脸图像,使用船员身份信息标记人脸信息,得到船员人脸识别数据集;
S2、构建改进后的CenterNet船员人脸检测模型;
S3、构建改进后的IResNet‑50船员人脸特征提取模型;
改进后的IResNet‑50船员人脸特征提取模型包括一个3×3的CBR模块、四个ResGroup模块ResGroup_1~ResGroup_4、一个SimAM模块、一个全局平均池化模块和全连接模块;
CBR由一个卷积模块、一个批标准化模块、一个ReLu模块组成;ResGroup_1、ResGroup_4由1个Start_IResBlock、1个IResBlock与一个End_IResBlock组成,ResGroup_2由1个Start_IResBlock、2个IResBlock与1个End_IResBlock组成,ResGroup_3由1个Start_IResBlock、4个IResBlock与1个End_IResBlock组成;
Start_IResBlock由一个1×1的CBR模块、一个3×3的CBR模块、一个1×1卷积模块和一个批归一化模块组成;IResBlock由一个1×1的BRC模块、一个3×3的BRC模块组成,BRC为将CBR的卷积模块放置在末尾所形成;End_IResBlock由1×1的BRC模块、一个3×3的BRC模块、一个批归一化模块、一个ReLu模块组成;
对IResNet‑50进行训练,首先采集舰船驾驶台中船员的人脸图像,使用船员身份信息标记人脸信息,得到船员人脸识别数据集,将数据集输入到IResNet‑50中进行训练,设置迭‑4代次数为20,学习率为1.25e ,批训练大小为128,训练动量设置为0.9,权重衰减率为
0.0005,根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小,使损失函数最小化,直至达到指定的迭代次数时结束训练,得到最终的船员人脸特征提取模型;
船员人脸特征提取模型的损伤函数为:
其中,N表示样本数量,s表示缩放因子,m表示边界参数, 表示第i个样本的特征向量与第yi个类别中心点的角度余弦值,θj表示第i个样本的特征向量与第j个类别中心点的角度余弦值,通过缩放因子s和边界参数m来控制类别之间的间隔;
通过船员人脸特征提取模型进行特征提取的过程具体为:每帧图像通过自适应缩放方式设置尺寸为112×112×3,图像首先依次通过CBR模块、ResGroup_1、ResGroup_2和ResGroup_3后输出特征图Ⅰ,将特征图Ⅰ输入SimAM模块,得到512个不同模式的14×14尺寸的注意力热图,将特征图Ⅰ和注意力热图通过Concat操作进行堆叠,随后输入到ResGroup_4模块,得到7×7×1024尺寸的全局特征图II;将II依次输入到全局平均池化模块和全连接模块进行人脸特征提取,得到输出长度为1×1×512的人脸特征向量;
S4、通过监控相机实时采集驾驶台内的监控视频,当检测到船员到岗或每隔20分钟,采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息,并进行人脸识别;S4包括以下子步骤:S4.1、将驾驶台内视频实时传输到CenterNet模型中,得到驾驶台内的船员人脸检测框D(F1,F2)和人脸关键点K(E1,E2,N1,M1,M2),并将该船员人脸图像从原图分割生成图像I1;
其中E1、E2分别为图像中船员左右眼中心位置,N1为船员鼻尖位置,M1、M2分别为船员左右嘴角位置,F1和F2分别为船员人脸左上角、右下角位置;
S4.2、设计基于几何关系的人脸姿态估计算法,根据人脸关键点坐标筛选船员高质量人脸图像,基于人脸关键点坐标,采用仿射变换算法,对同一个船员的多张人脸图像进行对齐,减少由于光照、角度、表情引起的人脸图像差异;
S4.3、将对齐后的人脸图像输入到IResNet‑50模型中,输出人脸特征向量;
S4.4、计算人脸特征向量与人脸数据库中各船员人脸特征的相似度,得到相似矩阵R,其中相似度阈值设置为0.6,若相似度超过0.6,则人脸识别成功,船员能够启动或继续使用驾驶台设备,若相似度没有超过0.6,则人脸识别失败,则驾驶台报警,同时记录下船员人脸图像I1和当前时间T,并录入数据库中;
在S4.2中,人脸姿态估计算法根据人脸关键点坐标K(E1,E2,N1,M1,M2)计算船员人脸的偏航角度Yaw与俯仰角度Pitch,其计算公式为:其中,E1、E2、N1分别代表船员面部关键点中的左眼中心点、右眼中心点和鼻尖中心点,F1、F2分别代表船员人脸检测框D的左上角点和右下角点,x、y分别代表图像中某点的x轴坐标、y轴坐标,len代表两点之间直线距离的函数;
通过Yaw与Pitch值筛选人脸图像,过滤掉阈值外的人脸图像,其中,Yaw与Pitch阈值设置如下:
2.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法,其特征在于,所述S1包括以下子步骤:S1.1、在舰船驾驶台上安装两台摄像头,用于采集船员的人脸图像,摄像头安装在能够准确捕捉船员面部信息的位置,包括驾驶台前方或侧方;同时,为了保护船员的隐私,系统只采集船员面部信息,不采集其他身体信息;
S1.2、将采集的视频利用视频帧转换软件生成单帧图像序列;
S1.3、使用人工截图工具截取数据集中出现的船员正脸图像,制作船员人脸识别数据集,每位船员对应1张正脸图像。
3.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法,其特征在于,在所述S2中,改进后的CenterNet船员人脸检测模型包括改进后的特征提取网络ResNet‑
50、上采样网络DeConv和改进后的预测网络Heads,特征提取网络ResNet‑50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块,其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成;ResBlock_1由一个ConvBNR和三个ConvBlock组成,ResBlock_2由四个ConvBlock组成,ResBlock_3由六个ConvBlock组成,ResBlock_4由六个ConvBlock组成;其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成,ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成;上采样网络DeConv由三个DeConvBlock组成,每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成;预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offerset Head和尺寸预测网络Size Head;中心点预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成,边界偏置预测网络由一个3×3×
256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成,尺寸预测网络由一个3×
3×256的卷积模块、一个1×1×256的卷积模块组成。