1.一种基于微表情和面相的多维度数据生成方法,其特征在于,包括:若检测到第一用户端所上传当前实时视频数据的当前场景中存在面相,采集获取对应的当前人脸图像;
调用预先训练的面相预测模型,将所述当前人脸图像输入至所述面相预测模型进行运算,得到与所述当前人脸图像对应的面相识别结果;其中,所述面相预测模型用于根据输入的人脸图像预测得到人物面相识别结果,所述人物面相识别结果中至少包括性格预测结果、人物专业能力值预测结果;
若检测到面试启动指令,获取视频时长等于预设的第一时长的第一视频数据,通过调用预先训练的微表情识别模型获取所述第一视频数据对应的第一情绪识别结果;
不断采集时长等于预设的第二时长的第二视频数据,通过调用预先训练的语音情感识别模型获取所采集的第二视频数据对应的第二情绪识别结果,并通过调用所述微表情识别模型获取所采集的第二视频数据对应的第三情绪识别结果,直至检测到面试停止指令则停止进行情绪识别,由多个第二情绪识别结果按时间升序顺序组成得到第二情绪识别结果序列,由多个第三情绪识别结果按时间升序顺序组成得到第三情绪识别结果序列;
判断所述第二情绪识别结果序列和所述第三情绪识别结果序列中是否存在异常情绪识别结果;其中,所述异常情绪识别结果包括难过、生气、恶心、害怕、愤怒、恐惧、厌恶和悲伤;以及
若所述第二情绪识别结果序列和所述第三情绪识别结果序列中存在异常情绪识别结果,获取对应的异常情绪识别结果组成异常情绪识别结果集,由所述人物面相识别结果和所述异常情绪识别结果集及预设的报告生成策略生成输出数据。
2.根据权利要求1所述的基于微表情和面相的多维度数据生成方法,其特征在于,所述调用预先训练的面相预测模型,将所述当前人脸图像输入至所述面相预测模型进行运算,得到与所述当前人脸图像对应的面相识别结果之前,还包括:获取包括多张人脸图像所相应人脸特征数据的训练集;其中,每一人脸图像均对应标注有性格预测结果和人物专业能力预测结果;
通过所述训练集对待训练的神经网络模型进行模型训练,得到面相预测模型。
3.根据权利要求1所述的基于微表情和面相的多维度数据生成方法,其特征在于,所述通过调用预先训练的微表情识别模型获取所述第一视频数据对应的第一情绪识别结果,包括:
根据预设的经验帧数值,在所述第一视频数据对应的包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像,以组成所述第一视频数据对应的微表情序列;
调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量,以得到所述微表情序列中每一帧图像的结合权重值的图像特征向量;
将所述微表情序列每一帧图像的结合权重值的图像特征向量进行求和,得到所述微表情序列对应的综合图像特征向量;
将所述综合图像特征向量输入至预先训练的卷积神经网络,得到所述第一视频数据的微表情识别结果;
将所述第一视频数据的微表情识别结果通过与情绪的对应关系转换为与所述第一视频数据对应的第一情绪识别结果。
4.根据权利要求1所述的基于微表情和面相的多维度数据生成方法,其特征在于,所述通过调用预先训练的语音情感识别模型获取所采集的第二视频数据对应的第二情绪识别结果,包括:
获取所述第二视频数据对应的第二音频数据,通过所述语音情感识别模型对所述第二音频数据进行情感识别,得到第二情绪识别结果。
5.根据权利要求1所述的基于微表情和面相的多维度数据生成方法,其特征在于,所述不断采集时长等于预设的第二时长的第二视频数据之后,在直至检测到面试停止指令则停止进行情绪识别之前,还包括:
通过调用预先训练的表情识别模型获取所采集的第二视频数据对应的表情识别结果子序列。
6.根据权利要求5所述的基于微表情和面相的多维度数据生成方法,其特征在于,所述直至检测到面试停止指令则停止进行情绪识别之后,还包括:由多个表情识别结果子序列按时间升序顺序组成得到表情识别结果主序列。
7.根据权利要求1所述的基于微表情和面相的多维度数据生成方法,其特征在于,所述由所述人物面相识别结果和所述异常情绪识别结果集及预设的报告生成策略生成输出数据,包括:
获取所述报告生成策略中的面相性格报告子策略,根据所述面相性格报告子策略对应的第一模板及所述人物面相识别结果生成面相性格报告数据;
获取所述报告生成策略中的面试情绪报告子策略,根据所述面试情绪报告子策略对应的第二模板及所述异常情绪识别结果集生成面试情绪报告数据。
8.一种基于微表情和面相的多维度数据生成装置,其特征在于,包括:人脸图像采集单元,用于若检测到第一用户端所上传当前实时视频数据的当前场景中存在面相,采集获取对应的当前人脸图像;
面相识别单元,用于调用预先训练的面相预测模型,将所述当前人脸图像输入至所述面相预测模型进行运算,得到与所述当前人脸图像对应的面相识别结果;其中,所述面相预测模型用于根据输入的人脸图像预测得到人物面相识别结果,所述人物面相识别结果中至少包括性格预测结果、人物专业能力值预测结果;
第一识别单元,用于若检测到面试启动指令,获取视频时长等于预设的第一时长的第一视频数据,通过调用预先训练的微表情识别模型获取所述第一视频数据对应的第一情绪识别结果;
第二识别单元,用于不断采集时长等于预设的第二时长的第二视频数据,通过调用预先训练的语音情感识别模型获取所采集的第二视频数据对应的第二情绪识别结果,并通过调用所述微表情识别模型获取所采集的第二视频数据对应的第三情绪识别结果,直至检测到面试停止指令则停止进行情绪识别,由多个第二情绪识别结果按时间升序顺序组成得到第二情绪识别结果序列,由多个第三情绪识别结果按时间升序顺序组成得到第三情绪识别结果序列;
异常情绪检测单元,用于判断所述第二情绪识别结果序列和所述第三情绪识别结果序列中是否存在异常情绪识别结果;其中,所述异常情绪识别结果包括难过、生气、恶心、害怕、愤怒、恐惧、厌恶和悲伤;以及异常情绪识别结果集获取单元,用于若所述第二情绪识别结果序列和所述第三情绪识别结果序列中存在异常情绪识别结果,获取对应的异常情绪识别结果组成异常情绪识别结果集,由所述人物面相识别结果和所述异常情绪识别结果集及预设的报告生成策略生成输出数据。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于微表情和面相的多维度数据生成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于微表情和面相的多维度数据生成方法。