1.一种融合不确定性估计与主动学习的表情识别方法,其特征在于,包括如下步骤:步骤1、构建第一阶段:对比预训练学习框架,所述步骤1包括子步骤:步骤1.1、数据采样:选定数据集并通过随机采样人脸图像得到人脸图象数据集, 表示第 个人脸图像,并将其人脸所对应的标签值单独保存为, 表示第 个人脸图像所对应的标签值;
步骤1.2、分别对数据集 中的每张人脸做调整图像大小,归一化像素值操作,接着应用随即变换来得到数据增强图像 , ,其中 和 分别表示第 个样本的随机数据增强视图,并将这两个视图作为正样本对;
步骤2、构建SimCLR:对比预训练表情识别网络,是由骨干网络、全局平均池化层、投影头、动态重标注模块构成,所述步骤2包括子步骤:步骤2.1、所述骨干网络是ResNet18网络,并依次包括第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块、第六全连接块;
第一卷积块的卷积核为 ,第二卷积块的由一个残差块构成,第三卷积块由一个残差块构成;第四卷积块由二个残差块构成;第五卷积块由二个残差块构成;第六全连接块包含全局平均池化和全连接层;每个残差块中包含两个 的卷积核;
步骤2.2、将 , 分别输入所述骨干网络中进行处理,并依次经过五个卷积块的处理后,分别输出第 张增强图形特征图 、 ,全局平均池化层将每个特征图的空间维度压缩到单个数值,从而得到两个定长的特征向量 ;
步骤2.3、对比损失计算和训练,计算正样本对 的余弦相似度;从当前批次中选择负样本;每个视图的特征向量对其他视图的特征向量都是负样本;利用公式(1)对于每个正样本对,最大化其 相似度,同时最小化 其与所有 负样本对 的相似度 ,(1)式(1) 中分别是样本 和正样本 的嵌入表示, 为负样本的嵌入表示, 是温度参数, 是一个指示函数,当 时为1,否则为0;
为正样本集;
步骤3、构建基于不确定性估计的重标注模块,主要包括自注意力权重模块,对数加权交叉熵损失,正则化排序和动态阈值重标注,所述步骤3包括子步骤:步骤3.1、计算自注意力权重:将 输入Softmax分类器中进行反向传播后,提取全连接FC层的特征权重 ,并与样本 进行特征加权,通过公式(2)得到每一个图像样本所对应的特征权值; (2)式(2)中, 是第 个样本的特征权重, 是全连接层的权重系数, 是Sigmod函数;
步骤3.2、利用公式(3)计算对数加权交叉熵损失 (3)其中 是第j个分类器的权重;
步骤3.3、正则化排序:首先对注意力权重进行降序排序,然后比例将其分为高标准差注意力权重组 和低标准差注意力权重组 两组;接着使用公式(4)和(5)的秩正则化来确保高重要性组的标准差注意力权重略高于低重要性组的标准差注意力权重;
(4)
式(4)中,其中 为控制低重要性群体总数所占比例的边际值,训练时,将综合损失函数定义为: (5)式(5),中γ是权衡比;
步骤3.4、动态阈值重新标记:不确定样本通常表现出较低的重要权重,即 ,重标注模块将 中的样本数据使用Softmax概率的方法来评估具有较低重要权重的样本;使用公式(6)和(7)在最高预测概率和分配给原始标签的概率之间进行比较;当前者超过后者时,样本被 重 新分 配一 个 新的 伪标 签;动 态阈 值 重标 记过 程 的操 作如 下 :(6)
(7)
式(6)中, 为阈值, 为预测概率最大的值, 表示给定标签值的概率; 和分别是原始给定标签的索引和最大预测值的索引;
式(7)中,increase和decrease表示每次调整的幅度大小;
步骤3.5、基于总体损失函数 对对比监督预训练网络进行训练,当训练迭代次数达到设定的次数或总体损失函数 收敛时,训练停止,从而得到最优的人脸表情特征提取网络模型 ,用于后续主动学习;
步骤4、主动学习,所述步骤4包括子步骤:
步骤4.1、将人脸数据集 划分为一个小规模的已标注数据集,和一个大量的未标注数据集 ; 所在数据集中的最后位置initial_points为区分有无标注数据的起始点;
步骤4.2、最小置信度法:
设置学习轮数为7,在每一轮主动学习中,模型 从未标注数据集 中选择样本的批处理大小,对于 中的每个样本 都通过Softmax分类器分别对其特征值 进行表情类别的判断,得到 对应的表情类别预测概率 ,按照最高置信度从小到大对所有未标注样本进行排序,选择最高置信度排序最低的样本为主动学习所选择的样本,记做 ,其中 表示第 个最高置信度在批次中最小的被挑选的样本;将新标注的数据 添加到已标注数据集 中,并从未标注数据集 中移除这些样本;
步骤4.3、使用更新后的已标注数据集 重新训练或微调模型 ,生成新模型;评估模型在验证集上的性能,直到达到预算或完成7轮。