利索能及
我要发布
收藏
专利号: 2024100621782
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:其具体步骤如下:

步骤1、获取带有标签的图像数据和脑电数据;有标签的图像数据组成训练集;采集无标签图像;针对脑电数据提取出脑电表征,并根据标签类别对脑电表征进行分类,分别对各类别对应的所有脑电表征取均值,作为各类别的脑电类表征;

步骤2、构建对图像中对象的情绪类别进行识别的分类模型;并使用训练集对分类模型进行训练;构建图像映射到脑电空间的认知模型;利用训练集及各样本对应的脑电类表征对认知模型进行训练;

步骤3将未使用的部分无标签图像输入分类模型;将分类模型的输出结果作为无标签图像的第一伪标签;将无标签图像输入认知模型,得到图像表征;分别测量脑电类表征与图像表征之间的相似性,取相似性最高的脑电类表征对应的类别作为无标签图像的第二伪标签;

步骤4、判断各无标签图像的第一伪标签与第二伪标签是否一致;则第一伪标签与第二伪标签一致的无标签图像转化为伪标签图像;将伪标签图像扩增到训练集中;

步骤5、利用训练集对分类模型和认知模型进行训练;并重新执行步骤3和4,直到所有无标签图像使用完毕;

步骤6、利用测试集对每一轮迭代得到的分类模型进行测试,将检测效果最佳的分类模型作为最终分类模型;

步骤7、将被测图像输入最终分类模型;最终分类模型输出被测图像中的对象的情绪类型。

2.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:所述的步骤1中,提取脑电表征的模型包括时间卷积块、深度卷积块和可分离卷积块,用于分层处理不同的输入维度;可分离卷积块的输出提供给全连接层;全连接层输出脑电表征。

3.根据权利要求2所述的一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:所述的时间卷积块、深度卷积块和可分离卷积块中的所有卷积层均经过批量归一化和整流线性单元激活。

4.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:步骤2的认知模型和分类模型均包括三个卷积模块组成的卷积神经网络;每个卷积模块均包括卷积层、归一化层、非线性激活层和最大池化层;认知模型中卷积神经网络的输出连接至投影到脑电表征维度的全连接层,分类模型中卷积神经网络的输出连接至投影到标签类维度的全连接层。

5.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:所述的认知模型采用三元组边际损失函数进行训练;训练时,针对认知模型输出的每个图像表征v1,均给定两对图像表征/脑电类表征(v1,e1),和(v1,e2);脑电类表征e1是与图像表征v1同一类别的正项,脑电类表征e2是与图像表征v1不同类别的负项;三元组边际损失函数的表达式如下:max(d(v1,e1)‑d(v1,e2)+margin,0)

其中,d(·,·)是欧氏距离函数;margin为边际参数。

6.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:步骤5中所述的分类模型使用交叉熵作为训练的损失函数。

7.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:步骤1中所述的脑电数据经过滤波处理,保留1Hz‑75Hz频率范围内的信号。

8.根据权利要求1所述的一种基于脑机协同训练的半监督面部情绪识别方法,其特征在于:被识别的情绪类型共有七种,分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。

9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述存储器存储计算机程序;所述处理器执行如权利要求1‑8中任意一项所述的一种基于脑机增强智能的半监督面部情绪识别方法。

10.一种可读存储介质,存储有计算机程序;其特征在于:所述计算机程序被处理器执行时用于实现如权利要求1‑8中任意一项所述的一种基于脑机增强智能的半监督面部情绪识别方法。