1.一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,所述电子班牌上设置热红外摄像头和彩色摄像头,在设定的考勤时间段内通过热红外摄像头进行热红外测温,并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传,通过远程界面显示测温考勤内容,实现智能测温考勤;非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台,云平台对视频数据进行异常行为检测,判定为异常则通过远程界面同步报警。
2.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,在设定的考勤时间段内进行智能测温考勤的方法如下:(1)利用彩色摄像头和热红外摄像头同时拍摄包含多个人脸的彩色图像I和热红外图像Ir;
(2)利用开源人脸检测算法SeetaFace对彩色图像I进行人脸检测和识别,获取图像中全部的人脸检测框数据集合F={f1,f2,…,fi,…,fN},以及识别到的人员身份信息数据集合P={p1,p2,…,pi,…,pN},其中,fi表示第i个人脸检测框坐标,pi表示第i个人脸的人员身份信息,N表示检测出的人脸总数;
(3)计算热红外图像Ir和彩色图像I的变换矩阵W,利用变换矩阵W将热红外图像Ir上的像素点逐个转换至彩色图像I坐标系下,最终获得与彩色图像I对齐后的热红外图像I’r;
(4)利用人脸检测框数据集合F={f1,f2,…,fi,…,fN},逐个框选出对齐后的热红外图像I′r中的全部人脸热红外图像数据集合H={h1,h2,…,hi,…,hN},其中,hi表示第i个人脸的热红外图像,i∈(1,N);
(5)配置热红外摄像头的有效测温距离和环境温度,将单个人脸热红外图像hi作为测温函数的输入,依次将全部人脸的热红外数据输入测温函数,最终输出获得画面中全部人脸的体温数据集合T={t1,t2,…,ti,…,tN},其中,ti表示第i个人脸的体温数据。
3.根据权利要求2所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,步骤(3)的具体方法如下:(1)计算变换矩阵W:
彩色摄像头内参Kc={dx,dy,u0,v0,f},其中,dx、dy分别表示彩色摄像头的x、y方向上一个像素占的单位数,u0表示彩色图像中心点与彩色图像原点之间在x方向上的像素数,v0表示彩色图像中心点与彩色图像原点之间在y方向上的像素数,f表示彩色摄像头的焦距;
热红外摄像头内参 其中, 分别表示热红外摄像头的x、y方
向上一个像素占的单位数, 表示热红外图像中心点与热红外图像原点之间在x方向上的像素数, 表示热红外图像中心点与热红外图像原点之间在y方向上的像素数,ft表示热红外摄像头的焦距;
变换矩阵W的计算公式如下所示:
其中,h为热红外摄像头与彩色摄像头的架设高度差;
(2)将变换矩阵W简单表示为一个3×3大小的矩阵,如下所示:
将热红外图像上任意一点k在热红外图像坐标系下的坐标(uk,vk)转换到彩色图像坐标系下的坐标(u′k,v′k),其计算表达式为:具体计算如下:
u’k=w11×uk+w12×vk+w13
v’k=w21×uk+w22×vk+w23
(3)按照上步的计算,逐个将热红外图像上的像素点转换至彩色图像坐标系下,最终获得与彩色图像I对齐后的热红外图像I’r。
4.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,非考勤时间段内进行异常行为检测的方法如下:(1)构建深层预测生成对抗网络模型PredGAN,该网络模型包括预测生成器和异常判别器;预测生成器负责利用连续视频帧序列预测新的视频帧,异常判别器负责生成图像的正常得分,从而区分正常和异常视频图像;
(2)构建预测生成器损失函数和异常判别器损失函数;
(3)对预测生成器和异常判别器单独交替迭代进行网络模型训练,使得预测生成器损失函数和异常判别器损失函数不断降低,直至预测生成器能够生成逼真的预测图,与真图肉眼无法区分,训练结束;
(4)获取实时视频,上传至训练好的深层预测生成对抗网络模型PredGAN,生成图像的正常得分,得分低于0.2,即判定为发生了异常。
5.根据权利要求4所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,所述预测生成器损失函数LG计算公式如下:其中,c表示训练循环次数,λc表示第c次循环的参数权重,nt表示第t帧的参数数量,λt表示第t帧的参数权重,nc表示第c次循环的参数数量, 表示第t帧在第c次循环中的误差;
所述异常判别器损失函数LD计算公式如下:
2 2
LD=E[(dr-1) ]+E[(d) ]
其中,dr为真实数据集中对应图像经过异常判别器生成的正常得分集合,d为训练数据集中由预测生成器预测得到的新的视频帧图像输入异常判别器生成的正常得分集合。
6.根据权利要求4所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,网络模型训练的具体过程如下:(1)选取日常生活中的不同类型、不同场景的正常视频作为训练数据集提供训练样本,选定训练数据集中每段视频中第9帧、第2*9帧、...、第N*9帧图像作为真实数据集,为对抗训练提供真实样本;
(2)先随机生成一组预测生成器网络模型参数,将训练数据集中的视频数据以每连续8帧为一个处理单元,batch_size设为64,输入预测生成器中,输出假的预测图集合PredV={Pred_I1,Pred_I2,…,Pred_I64};
(3)将预测生成器网络模型参数设置为不可调,生成一组随机值构成的异常判别器网络模型参数,获取上步生成的预测图集合PredV以及真实数据集中对应真图集合TrueV={True_I1,True_I2,…,True_I64},将真图和预测图进行拼接获得异常判别器训练数据集Train_X=[TrueV,Pr edV],同时生成Train_X的标签集Train_Y=[64,0],即前64帧为真,标签为1,后64帧为假,标签为0,将Train_X和Train_Y输入异常判别器,不断迭代调整异常判别器模型参数,提高异常判别器的判识精度,直至当前迭代结束,由异常判别器损失函数计算出损失值;
(4)将异常判别器网络模型参数设置为不可调,输入一组新的视频数据,并认为这些视频数据经过预测生成器能够生成真实的预测图,不断调整预测生成器网络模型参数,直至当前迭代结束,由预测生成器损失函数计算出损失值;
(5)按照(3)和(4)的步骤往复循环,直至能够生成逼真的预测图,与真图肉眼无法区分,训练结束。
7.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,所述电子班牌包括壳体,所述彩色摄像头和热红外摄像头设置于所述壳体上,所述壳体上还设置触摸显示屏、扬声器、麦克风,壳体内设置与上述部件信号连接的控制电路板,所述控制电路板上设置CPU、LAN通信模块、WIFI通信模块和4G通信模块。
8.根据权利要求5所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,所述彩色摄像头、热红外摄像头通过MIPICSI接口与CPU通信,用于进行人脸彩色图像和热红外图像数据接入。
9.根据权利要求5所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,所述LAN通信模块、WIFI通信模块和4G通信模块通过SPI与CPU通信连接,用于同云平台进行数据交互。
10.根据权利要求5所述的一种具备智能测温考勤和异常行为检测的电子班牌,其特征在于,所述扬声器和麦克风通过GPIO与CPU通信,所述电子班牌外接5V直流电源供电。