1.基于表情识别的监控系统,其特征在于,包括云服务器、树莓派、北斗GPS模块、装有监控APP的移动终端和车载监控装置,所述车载监控装置包括装置本体(1)、左摄像臂(2)、右摄像臂(3)、前摄像装置(4)和后视镜(5),装置本体(1)左、右端分别开设有与对应摄像臂相匹配的腔体,左摄像臂(2)和右摄像臂(3)可伸缩地安装在装置本体(1)中,装置本体(1)内中间位置安装有用于驱动两摄像臂伸缩的驱动机构;前摄像装置(4)固定在装置本体(1)前端面中间位置,后视镜(5)固定在装置本体(1)后端面上;左摄像臂(2)和右摄像臂(3)均包括步进电机(18)、电机座(19)、第一转轴(20)、套筒(21)和摄像模组,套筒(21)可滑动地设置在装置本体(1)内、对应端腔体中,电机座(19)固定在套筒(21)内侧端部,步进电机(18)固定在电机座(19)上,步进电机(18)的输出轴穿过电机座(19),并与套筒(21)内的第一转轴(20)固定连接;
所述摄像模组包括摄像头固定盒(11)、第一旋钮(12)、第二旋钮(13)、第一摄像头(14)、第一LED补光灯(15)、第二感光传感器(16)和挡块(17),第一LED补光灯(15)包括多个第一LED灯珠,挡块(17)、第一旋钮(12)、摄像头固定盒(11)和第二旋钮(13)依次固定连接,挡块(17)与装置本体(1)对应端端面相匹配,第一摄像头(14)固定在摄像头固定盒(11)前端面中间位置,第二感光传感器(16)和多个第一LED灯珠围绕着第一摄像头(14)周向均匀地固定在摄像头固定盒(11)前端面上,第二旋钮(13)与第一转轴(20)外侧端部转动连接;
所述驱动机构包括舵机(9)、齿轮(10)、第一齿条(24)和第二齿条(25),舵机(9)固定在装置本体(1)内中间位置,齿轮(10)固定在舵机(9)的输出轴上,两齿条水平设置在装置本体(1)内,且所述两齿条分别与齿轮(10)啮合,第一齿条(24)左端与左摄像臂(2)的套筒(21)一体连接,第二齿条(25)与右摄像臂(3)的套筒(21)一体连接,两套筒(21)上分别开设有用于容纳相对的齿条的凹槽;
舵机(9)和两步进电机(18)均配套有驱动模块,各驱动模块分别与所述树莓派串口通信,各感光传感器分别与所述树莓派串口通信,所述北斗GPS模块与所述树莓派串口通信,各摄像头和各LED补光灯分别与所述树莓派串口通信;所述树莓派与所述云服务器通过5G/
4G双频无线网卡,以TCP/IP协议和HTTP协议经过5G/4G双频无线路由器,实现与所述云服务器实时通信,实时上传监控视频和GPS数据;所述移动终端通过5G/4G移动网络与所述云服务器实时通信;
所述云服务器包括:通信模块,用于实现与所述移动终端和所述树莓派的双向通信;可疑表情识别模块,用于对监控视频进行人脸表情可疑度判断;风险预警模块,用于当所述可疑表情识别模块判断出高置信度可疑表情时,向所述移动终端发出预警,预警方式包括短信提示和APP弹窗、推送提示;云端数据管理模块,用于存储和管理历史监控视频、可疑人脸出现的视频片段、GPS数据;
移动终端监控APP,用于管理和缓存云端监控视频、可疑人脸出现的视频片段,向树莓派发送控制指令,以及监控画面、可疑人物出现的视频段、历史车辆GPS轨迹和当前位置的可视化展示。
2.根据权利要求1所述的基于表情识别的监控系统,其特征在于,左摄像臂(2)和右摄像臂(3)还均包括第二转轴(23),第二转轴(23)设置在套筒(21)内,并与第一转轴(20)通过销轴(22)转动连接,构成一个可前后转动的关节体,装置本体(1)前端面左、右侧均开设有供对应关节体向前转动的半圆形引导槽,所述两套筒(21)对应开孔;第二旋钮(13)与第二转轴(23)外侧端部转动连接。
3.根据权利要求1或2所述的基于表情识别的监控系统,其特征在于,前摄像装置(4)包括前壳体(26)、第二摄像头(27)、第二LED补光灯(28)和第三感光传感器(29),第二LED补光灯(28)包括多个第二LED灯珠,前壳体(26)一体固定在装置本体(1)前端面中间位置,第二摄像头(27)固定在前壳体(26)前端面中间位置,第三感光传感器(29)和多个第二LED灯珠围绕着第二摄像头(27)周向均匀地固定在前壳体(26)前端面上;后视镜(5)采用防炫目后视镜,后视镜(5)上部中间位置固定有第一感光传感器(6),后视镜(5)上部左侧固定有左隐藏式摄像头(7),后视镜(5)上部右侧固定有右隐藏式摄像头(8)。
4.一种基于权利要求1所述的基于表情识别的监控系统的监控方法,其特征在于,包括如下步骤:步骤1)、采集监控视频;
步骤2)、预先训练表情识别模型;
步骤3)、应用所述表情识别模型对监控视频进行表情识别,当可疑表情识别置信度为高时,发出预警。
5.根据权利要求4所述的基于表情识别的监控系统的监控方法,其特征在于,步骤2)中,表情识别模型的训练方法包括:步骤a、输入AFEW数据集,将AFEW数据集中设定比例的图像作为训练集,AFEW数据集中其余图像作为验证集;
步骤b、VGG16网络训练;
在VGG16网络训练前,采用迁移学习法,载入VGGFace的模型参数作为预训练权重;利用训练集开始VGG16网络的训练,经特征提取后生成特征值数组、图片标签和各帧视频标签,再在VGG16网络后加上Softmax层进行分类操作,分类参照的是每一幅图片的标签,与每一帧视频的标签相同;
VGG16网络使用3×3的卷积核进行卷积运算,卷积采样尺度为1×1,池化间隔2×2;网络依次是两层卷积Conv3‑64,一层池化pool1/2;两层卷积Conv3‑128,一层池化pool1/2;三层卷积Conv3‑256,一层池化pool1/2;三层卷积Conv3‑512,一层池化pool1/2;三层卷积Conv3‑512,一层池化pool1/2;两层全连接层FC‑4096;
池化层pool1/2为窗口大小是2×2,步长为2的最大池化层;
使用Softmax损失函数对线性输出进行处理,设分类器总类别个数为c,则当前元素的指数与所有元素指数和的比即为当前元素的Softmax值Si,其中,Vi为分类器前一级输出单元的输出,i为类别索引,e表示常数;
Si所对应的Softmax损失函数为Li,
Li越趋近于0,说明分类结果越准确;sj表示当前元素的Softmax值;
步骤c、LSTM网络训练;
步骤b训练完成的VGG16,去掉加上的Softmax层和第2层全连接层,连接在LSTM网络的前方;采用传统CNN模型从各帧视频中提取的视频微表情序列经过VGG16计算得到视频微表情图像特征值后,作为LSTM的输入,在LSTM网络中进行训练;训练LSTM模型时,每12帧视频图像选取为一个片段进行迭代;
LSMT网络结构为,每一个VGG16连接单层有128个隐层单元的LSTM网络;该网络由LSTM循环单元构成,循环单元包括遗忘门、输入门和输出门;遗忘门函数ft用于决定网络要丢失哪些信息,其输出值介于0‑1之间;
f f
ft=σ(Wxt+Uht‑1)
f
其中,t表示当前时刻,xt为当前时刻网络输入,ht‑1为上一时刻LSTM的网络输出值;W 和fU为权重系数参数,需要经过训练学习后确定;
输入门函数it用于决定网络要增的新信息
i i
it=σ(Wxt+Uht‑1)
i
其中,t表示当前时刻,xt为当前时刻网络输入,ht‑1为上一时刻LSTM的网络输出值;W 和iU为权重系数参数,需要经过训练学习后确定;
更新门状态 用于描述当前网络的最新状态
c
其中,t表示当前时刻,xt为当前时刻网络输入,ht‑1为上一时刻LSTM的网络输出值;W 和cU为权重系数参数,需要经过训练学习后确定;
更新操作后要增加的新信息为ct
最终,可以确定输出门函数Ot为
o o
ot=σ(Wxt+Uht‑1)
o
其中,t表示当前时刻,xt为当前时刻网络输入,ht‑1为上一时刻LSTM的网络输出值;W 和oU为权重系数参数,需要经过训练学习后确定;⊙表示点乘运算;
而当前时刻LSTM网络的输出值为ht
ht=ot⊙tanh(Ct)
最后,通过将LSTM网络各层依次叠放,以增加深度添加至整个LSTM系统模型,并采用第
1个网络的第一层中的LSTM隐藏状态作为层1中的LSTM输入,各层网络依次循环连接,构成长时间的动态网络;人脸表情特征序列中的有效信息能够得到不断更新,并输出给下一层网络;
d、验证集送入VGG16网络,输出测试结果;
验证集送入训练完成的VGG16网络中,由VGG16中的的全连接层FC给出测试结果;
e、计算出模型测试结果的准确率;
由ACC表示该模型的验证集准确率
其中,TP为将正类预测为正类数,即模型预测正确的个数;TN为将负类预测为负类数,即模型其他类预测正确的个数;FP将负类预测为正类数误报,即模型把其他类错误预测为本类的个数;FN将正类预测为负类数漏报,即模型为本类预测错误的个数;ACC要求高于
95%。
6.根据权利要求5所述的基于表情识别的监控系统的监控方法,其特征在于,步骤a中,AFEW数据集中70%的图像作为训练集,30%的图像作为验证集。
7.根据权利要求6所述的基于表情识别的监控系统的监控方法,其特征在于,步骤3)中,应用所述表情识别模型对监控视频进行表情识别,包括:步骤A、输入待检测的监控视频图像;
将监控视频进行分割,获得每帧的图像,将每12帧视频帧作为一段,分别对每帧进行检测;
步骤B、Adaboost算法训练得到的强分类器和肤色分割进行人脸位置检测;
人脸检测分为三部分:样本分类器训练、肤色分割、人脸检测;样本分类器训练载入人脸样本和非人脸样本,利用Adaboost算法训练分类器;肤色分割通过肤色区域检测和分割的方式获取图片中的肤色区域,为人脸检测时排除大部分非肤色区域;人脸检测将利用Adaboost算法训练的强分类器进行级联,对肤色分割步骤中获得的肤色区域进一步进行人脸验证,并定位人脸所在位置;
步骤C、VGG16和LSTM网络分别进行特征提取与分类;
将Adaboost算法得出的人脸区域剪裁后,送入训练完成的VGG16和单层LSTM网络,由维度为128的全连接层FC输出经过模型权重判断的结果,结果集包括生气、蔑视、恐惧、高兴、悲伤、惊讶,中性;
步骤D、输出分类结果;
由步骤C全连接层FC输出的分类结果,根据可疑表情识别的要求,再进行重新归类,生气、蔑视、恐惧和惊讶表情归为可疑表情,高兴和悲伤表情归为次可疑表情,中性归为正常表情;最后输出的分类结果集为可疑表情、次可疑表情、正常表情;可疑表情,亦称置信度高的可疑表情。
8.根据权利要求7所述的基于表情识别的监控系统的监控方法,其特征在于,步骤B中,检测人脸位置的步骤为:先将待检测图像分割为20*20个样本,检测窗口与样本大小一致;
之后从左到右,从上到下地遍历图像,检测20*20个区域,标出可能的人脸区域;然后,设定参数scale按照此倍数放大检测窗口,循环不停地放大检测窗口遍历图像,直到检测窗口超过原图像大小的一半后退出循环;每遍历一次对重叠检测到的人脸区域进行合并。