1.基于时空一致性的群体表情情绪识别方法,其特征在于,包括如下步骤:对获取的待识别的人群运动场景中的视频图像,进行人脸检测识别得到每帧图像中的每个个体的人脸表情;
根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪;基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪,基于空间一致性计算所有帧图像中都被遮挡个体是否为恐慌情绪;
根据所有个体中为恐慌情绪个体的比例,得到群体恐慌度;
基于时间一致性计算有部分帧图像中被遮挡个体a是否为恐慌情绪的方法,具体为:在能够采集到个体a完整面部表情信息的所有帧图片中,识别为恐慌情绪的帧数的比例大于设定的比例阈值,即判定该个体a的情绪在被识别的人群运动的视频中为恐慌情绪,否则为非恐慌情绪;
基于空间一致性计算所有帧图像中被遮挡个体j是否为恐慌情绪,具体为:将每一帧图片转化为深度图;计算每一帧图像中所有已经通过计算得到情绪结果的个体与被遮挡个体j的距离,根据距离得到个体j的情绪受群体中其他个体的影响值之和,根据影响值确定是否为恐慌情绪,其他个体对个体j的恐慌情绪的影响为负值,非恐慌情绪的影响为正值;
深度图中,个体s与个体j之间的距离dsj,如下:
其中,j为面部表情在整个时间段全部处于被遮挡的状态中的个体,j的位置坐标为(xj,yj,zj);s为整个群体中可以通过人脸表情识别出情绪的任意一个个体;定义s是j的邻居,s的位置坐标为(xs,ys,zs);
其中,rs表示个体s的最终情绪,j为面部表情在整个时间段全部处于被遮挡的状态中的个体,s为整个群体中可以通过人脸表情识别出情绪的个体;wsj是个体s对个体j情绪影响的权重;
wsj的表示如下:
定义一个面部表情在整个时间段全部处于被遮挡的状态中的个体的情绪是否判定为恐慌情绪的指标V,对于个体j,其恐慌情绪的指标V的计算如下:其中,个体s是可以通过人脸面部表情直接识别出情绪的个体和通过时间一致性计算得出最终情绪个体;rs=1,表示该个体s的情绪是非恐慌情绪,则个体s对个体j的非恐慌情绪影响的值为正值;rs=‑1,表示该个体s的情绪是恐慌情绪,则个体s对个体j的恐慌情绪影响的值为负值;
当V≤0时,个体j的情绪判定为恐慌情绪;当V>0时,个体j的情绪判定为非恐慌情绪;
群体恐慌度包括无恐慌、轻度恐慌、中度恐慌和重度恐慌。
2.如权利要求1所述的基于时空一致性的群体表情情绪识别方法,其特征在于:对获取的待识别的人群运动场景中的视频图像,进行人脸检测识别得到每帧图像中的每个个体的人脸表情的方法,包括如下步骤:输入待识别的人群运动场景中的视频;
把视频进行分帧处理成一帧一帧的图片;
针对分帧处理的每帧图像进行人脸检测;
对每张图片检测到的人脸进行裁剪,得到只包含人脸的图片;
将裁剪后的人脸图片输入到深度残差网络中得到人脸表情识别结果。
3.如权利要求2所述的基于时空一致性的群体表情情绪识别方法,其特征在于:针对分帧处理的每帧图像进行人脸检测采用基于haar特征提取算法实现;
或者,
对检测到的人脸进行裁剪,得到只包含人脸的图片的步骤如下:
对进行人脸检测后每张图片,设置与人脸大小相近的矩形框对检测到的人脸进行框选;
把每张图片里框选出来的人脸裁剪出来并标号,按照标号的顺序输出一张图片中每一个人脸。
4.如权利要求2所述的基于时空一致性的群体表情情绪识别方法,其特征在于:对于深度残差网络中得到人脸表情识别结果,采用矩阵的形式,得到情绪识别结果矩阵;
或者,深度残差网络为Resnet34网络;
Resnet34网络结构包括卷积层、残差模块、池化层、全连接层以及Softmax分类器,所述卷积层、残差模块、池化层、全连接层以及Softmax分类器依次连接。
5.基于时空一致性的群体表情情绪识别系统,其特征在于,包括:人脸识别模块:被配置为用于对获取的待识别的人群运动场景中的视频图像,进行人脸检测识别得到每帧图像中的每个个体的人脸表情;
个体恐慌判断模块:被配置为用于根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪;基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪,基于空间一致性计算所有帧图像中被遮挡个体是否为恐慌情绪;
群体恐慌度判断模块:被配置为用于根据所有个体中为恐慌情绪个体的比例,得到群体恐慌度;
基于时间一致性计算有部分帧图像中被遮挡个体a是否为恐慌情绪的方法,具体为:在能够采集到个体a完整面部表情信息的所有帧图片中,识别为恐慌情绪的帧数的比例大于设定的比例阈值,即判定该个体a的情绪在被识别的人群运动的视频中为恐慌情绪,否则为非恐慌情绪;
基于空间一致性计算所有帧图像中被遮挡个体j是否为恐慌情绪,具体为:将每一帧图片转化为深度图;计算每一帧图像中所有已经通过计算得到情绪结果的个体与被遮挡个体j的距离,根据距离得到个体j的情绪受群体中其他个体的影响值之和,根据影响值确定是否为恐慌情绪,其他个体对个体j的恐慌情绪的影响为负值,非恐慌情绪的影响为正值;
深度图中,个体s与个体j之间的距离dsj,如下:
其中,j为面部表情在整个时间段全部处于被遮挡的状态中的个体,j的位置坐标为(xj,yj,zj);s为整个群体中可以通过人脸表情识别出情绪的任意一个个体;定义s是j的邻居,s的位置坐标为(xs,ys,zs);
其中,rs表示个体s的最终情绪,j为面部表情在整个时间段全部处于被遮挡的状态中的个体,s为整个群体中可以通过人脸表情识别出情绪的个体;wsj是个体s对个体j情绪影响的权重;
wsj的表示如下:
定义一个面部表情在整个时间段全部处于被遮挡的状态中的个体的情绪是否判定为恐慌情绪的指标V,对于个体j,其恐慌情绪的指标V的计算如下:其中,个体s是可以通过人脸面部表情直接识别出情绪的个体和通过时间一致性计算得出最终情绪个体;rs=1,表示该个体s的情绪是非恐慌情绪,则个体s对个体j的非恐慌情绪影响的值为正值;rs=‑1,表示该个体s的情绪是恐慌情绪,则个体s对个体j的恐慌情绪影响的值为负值;
当V≤0时,个体j的情绪判定为恐慌情绪;当V>0时,个体j的情绪判定为非恐慌情绪;
群体恐慌度包括无恐慌、轻度恐慌、中度恐慌和重度恐慌。
6.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑4任一项方法所述的步骤。
7.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑4任一项方法所述的步骤。