1.一种基于深度网络特征融合的抑郁症识别模型的建构方法,包括以下步骤:S1、批量采集所需的抑郁症患者视频数据;
S2、在预处理阶段,需要对采集的视频数据进行一系列面部信息缺失性操作及准备后续处理步骤所需的视频数据的质量;
S3、基于S2步骤得到的数据后,使用C3D卷积网络来提取视频数据中每个关键帧的表情变换特征;3D卷积网络有效地捕捉时间维度上的动态信息,从而建模视频序列中的表情变化;
S4、基于S3步骤后,进行强化特征提取及提案生成;
S5、生成表情分类和时间段,将生成的提案区域和强化特征图输入到分类模块中,生成每个区域的表情类别以及区域开始帧和结束帧的标记,每个区域的表情类别记为矩阵A;这些分类结果和时间段信息用于后续的表情分析和识别;
S6、多尺度表情特征提取,对视频中的每个关键帧进行全局和局部特征提取,以获取每帧的表情特征向量;全局特征捕捉整体表情信息,而局部特征描述面部细节和面部区域表情变化;
S7、弱监督分类:在步骤S6将多尺度表情特征进行弱监督分类,生成矩阵B;
S8、将视频流级别特征与图片帧级别特征进行集成和神经网络分类;具体包括:T
S81、计算深度网络表情关系的特征,将矩阵A和矩阵B进行AB计算,得到矩阵F,矩阵F是这些区域表情之间的关系矩阵;
S82、构建Ghost神经网络,将关系矩阵F作为输入送入卷积神经网络Ghost,得到最终分类结果。
2.根据权利要求1所述的基于深度网络特征融合的抑郁症识别模型的建构方法,其特征在于,所述步骤S2中,为提供所需的视频质量的数据,需要按以下步骤进行数据预处理:S21、利用双线性插值算法将视频的清晰度降低到指定的像素尺寸;
S22、利用面部检测算法检测删除缺乏清晰面部的图像,以确保后续处理步骤数据的准确性和可靠性;
S23、在这一步骤中,需要为视频数据中全视频序列的每个关键帧区间添加标记;这些标记通常由专业心理指导师根据其对表情的理解和经验进行标注;标记包括情绪类别和区间开始标记与区间结束标记;
S24、将得到的数据用于构建训练集和测试集。
3.根据权利要求1所述的基于深度网络特征融合的抑郁症识别模型的建构方法,其特征在于,所述步骤S4中,需要按以下步骤进行特征强化和生成提案:S41、强化特征获取,通过应用空间注意力模型对特征图进行增强,以进一步提取有用的空间信息;空间注意力模型根据不同区域的重要性自动调整特征图的权重,使得模型能够关注表情相关的区域,最后获得强化特征图;
S42、生成提案,利用强化特征图,使用提案模型生成可能包含表情的提案区域。
4.根据权利要求1所述的基于深度网络特征融合的抑郁症识别模型的建构方法,其特征在于,所述步骤S6中,需要按以下步骤进行全局特征提取和局部特征提取:S61、全局特征提取,通过VGG16神经网络的卷积层作为全局表情特征的提取模型进行全局特征提取,获取最终的19维特征向量;
S62、局部特征提取,该特征通过使用拟合椭圆的偏心率来描述,局部特征的偏心率共选取17个,分别为眉毛2个,眼睛4个,鼻梁1个,嘴巴2个,脸颊8个;
S63、将S61与S62得到的特征向量拼接后进行多尺度表情特征归一化,在这一步骤中,对多尺度表情特征进行归一化处理,以确保不同特征之间的尺度一致性。
5.根据权利要求1所述的基于深度网络特征融合的抑郁症识别模型的建构方法,其特征在于,所述步骤S7中,需要按以下步骤将多尺度表情特征进行弱监督分类:S71、使用聚类算法对每帧的特征向量进行归类,将其分为22类表情中的一种;聚类算法是K‑means;
S72、对归类结果进行逐帧的标签注释,即根据聚类结果为每帧分配表情标签;
S73、利用深度神经网络对获得的注释的数据帧进行表情分类;深度神经网络是卷积神经网络CNN和循环神经网络RNN的组合模型;
S74、将步骤S5得到的区域开始帧标记和区域结束帧标记与在步骤S73得到的结果进行提案区域帧标记,然后将各个提案区域进行归一化,得到弱监督分类矩阵。
6.一种基于深度网络特征融合的抑郁症识别模型的建构装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1‑5中任一项所述的基于深度网络特征融合的抑郁症识别模型的建构方法。
7.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑5中任一项所述的基于深度网络特征融合的抑郁症识别模型的建构方法。