利索能及
我要发布
收藏
专利号: 2022112962416
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种上下文感知的情绪识别方法,其特征在于,包括:

获取待识别的场景图像,提取场景图像中的人物图像、物体图像以及背景图像,并进行预处理;

提取人物图像中的面部情绪信息以及人体轮廓信息,获取面部情绪特征以及人体姿态特征;其中,通过ViT模型提取面部情绪特征和人体姿态特征;

检测人脸的朝向以及视线信息,获取物体图像中所有对象的位置,利用深度图生成算法生成深度图,提取物体的特征向量,保存边界框坐标,构建三维视角的环境对象交互关系,具体包括:步骤S1:检测图像中每个物体对象的位置;

步骤S2:提取图像中人物的左右凝视角gax,上下凝视角gay,基于凝视角计算凝视方向向量 ;

步骤S3:根据人物坐标和物体坐标计算从人物指向物体的三维向量vi,x、y坐标基于边界框的中心位置确定,z坐标基于MegaDepth算法生成的深度图确定,所述深度图表示图像中每个像素与相机的相对距离;

步骤S4:以人物自身和所有物体为节点建图,计算凝视方向向量aga与人物指向物体向量vi的夹角,根据人物坐标和物体坐标计算人物与物体的欧氏距离,基于夹角和欧式距离确定边权,夹角越小,表示该物体对人物情绪影响越强,距离越小,表示该物体对人物情绪影响越强;

基于背景图像提取全局场景上下文信息特征;

将面部情绪特征、人体姿态特征、三维视角的环境对象交互关系以及全局场景上下文关系特征进行融合,得到新的上下文情绪特征输入至模型得到情绪分类结果。

2.如权利要求1所述的一种上下文感知的情绪识别方法,其特征在于,所述预处理包括:对人物图像中的面部图片进行灰度化、人脸检测以及人脸对齐操作后保存。

3.如权利要求1所述的一种上下文感知的情绪识别方法,其特征在于,所述面部情绪特征提取方式为:利用人脸检测算法提取场景中的人脸图像,输入到ViT模型中提取面部中包含的情绪信息,得到面部情绪信息的特征向量。

4.如权利要求1所述的一种上下文感知的情绪识别方法,其特征在于,所述人体姿态特征提取方式为:利用语义分割算法提取人体轮廓信息,将人体轮廓信息输入至ViT模型获得其人体姿态情绪表示的特征向量。

5.如权利要求1所述的一种上下文感知的情绪识别方法,其特征在于,所述环境对象交互关系构建方式为:检测人脸的朝向、视线信息,通过目标检测算法获取物体图像中所有对象的位置,并利用深度图生成算法生成图片的深度图,结合目标检测算法得到图片中对象的位置,计算得出各个对象与摄像机之间的距离,然后构建环境对象交互关系的图表示,将图结构表示输入到GCN中,提取环境对象交互关系的情绪特征向量。

6.如权利要求1所述的一种上下文感知的情绪识别方法,其特征在于,所述基于背景图像提取全局场景上下文信息特征的方式为:补全环境对象交互关系中忽略的全局场景信息,聚焦视觉背景对情绪的影响,将遮挡人体的图片输入至ViT网络中,获得全局上下文特征表示向量。

7.如权利要求1所述的一种上下文感知的情绪识别方法,其特征在于,所述将面部情绪特征、人体姿态特征、三维视角的环境对象交互关系以及全局场景上下文关系特征进行融合的过程为:将面部情绪表示的特征向量、人体姿态情绪表示的特征向量、环境对象交互关系的情绪特征向量、全局上下文情绪表示的特征向量连接,得到新的上下文感知的情绪特征向量并输入至全连接层,进行图片的情绪分类。

8.一种上下文感知的情绪识别系统,其特征在于,采用如权利要求1‑7任一项所述的一种上下文感知的情绪识别方法,包括:数据获取模块,用于获取待识别的场景图像,提取场景图像中的人物图像、物体图像以及背景图像,并进行预处理;

面部表情特征提取模块以及人体姿态情绪特征提取模块,用于提取人物图像中的面部情绪信息以及人体轮廓信息,获取面部情绪特征以及人体姿态特征;

环境对象交互关系情绪特征提取模块,用于检测人脸的朝向以及视线信息,获取物体图像中所有对象的位置,利用深度图生成算法生成深度图,提取物体的特征向量,保存边界框坐标,构建三维视角的环境对象交互关系;

全局上下文情绪特征提取模块,用于基于背景图像提取全局场景上下文信息特征;

情绪特征融合分类模块,用于将面部情绪特征、人体姿态特征、三维视角的环境对象交互关系以及全局场景上下文关系特征进行融合,得到新的上下文情绪特征输入至模型得到情绪分类结果。

9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现如权利要求1‑7任一项所述的一种上下文感知的情绪识别方法。

10.一种电子设备,其特征在于,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现如权利要求1‑7任一项所述的一种上下文感知的情绪识别方法。