1.一种人脸表情自动标注的方法,其特征在于,所述方法包括:
S1、以预置图像采集设备获取人脸表情图像的图像帧,以所述图像帧形成数据集,剔除所述数据集中的人脸采集异常图像,选取所述数据集中的峰表情对应的人脸图像作为人脸表情图像数据集,预处理所述人脸表情图像数据集;
S2、按照预置划分比例划分所述人脸表情图像数据集,其中,前述划分操作得到的子集包括:待标注数据集及无标注数据集,人工感情标注所述待标注数据集,以得到有监督训练的数据集,以所述无标注数据集作为自监督学习的训练数据集;
S3、构建基于Efficient‑CapsNet的自监督标注模型,利用Efficient‑CapsNet编码器作为自监督学习辅助任务中的表征提取编码器,并进行对比学习,以获得最优预训练模型,所述步骤S3包括:S31、数据增强处理所述人脸表情图像,以得到待编码图像、以Efficient‑CapsNet编码器处理所述待编码图像,据以获取图像特征表示数据;
S32、根据所述图像特征表示数据进行对比学习,据以构建自监督标注模型的辅助任务,设置辅助训练参数,将所述自监督学习的训练数据集输入所述辅助任务,以进行迭代对比训练,据以获取并保存所述最优预训练模型;
S4、在自监督的下游任务中,将所述最优预训练模型结合预置分类器,在所述有监督训练的数据集上进行有监督训练及预置调节操作,以得到自动标注模型,所述步骤S4包括:S41、构建所述自监督标注模型的下游任务,其中,所述下游任务包括:下游任务编码器及下游任务分类器;
S42、设置下游训练参数,将所述有监督训练的数据集输入所述下游任务,结合所述下游任务分类器及所述最优预训练模型,以进行有监督的迭代训练,据以获取并保存所述自动标注模型;
S5、以所述自动标注模型对所述人脸表情图像进行情感自动标注,以得到人脸表情自动标注结果。
2.根据权利要求1所述的一种人脸表情自动标注的方法,其特征在于,所述步骤S1包括:S11、剔除所述数据集中的非正脸图像和无人脸图像进行剔除,并在剩余的所述数据集中选取峰表情人脸图像作为最终人脸表情数据集;
S12、裁剪所述数据集中的人脸图像,并将所述人脸图像统一调整至预设尺寸;
S13、利用人脸检测器检测所述人脸图像中的人脸,对所述人脸见进行对齐操作,利用已对齐人脸生成所述人脸表情图像数据集。
3.根据权利要求1所述的一种人脸表情自动标注的方法,其特征在于,所述步骤S2包括:S21、按照所述预置划分比例划分所述人脸表情数据集为小比例数据集及大比例数据集,其中,所述预置划分比例包括:4:1;
S22、以所述小比例数据集作为所述待标注数据集;
S23、以所述大比例数据集作为所述无标注数据集;
S24、人工感情标注所述待标注数据集,将所述无标注数据集作为所述自监督学习的训练数据集。
4.根据权利要求1所述的一种人脸表情自动标注的方法,其特征在于,所述步骤31包括:S311、第一个部分是数据增强部分,对模型的输入图像将进行两倍的随机增强,并将增强后的两个输入图像同时输入预置网络中,以进行并行学习;
S312、利用所述Efficient‑CapsNet编码器对所述输入图像进行特征提取,以得到两个两种图像的特征表示,其中,所述Efficient‑CapsNet编码器包括:卷积层、深度卷积层、主胶囊层、FCCaps层,Efficient‑CapsNet还包括自注意力机制路由,经所述FFCaps层后输出图像表征矩阵,所述图像表征矩阵大小为:类别数×16。
5.根据权利要求4所述的一种人脸表情自动标注的方法,其特征在于,所述步骤S312包括:S3121、输入图像进入Efficient‑CapsNet编码器的卷积层中,灰度化所述输入图像送入四个预置卷积层进行处理,以得到编码器卷积输出特征图;
S3122、利用批量标准化方法归一化处理预置网络层中的每个神经元,利用下述变换重构算法处理得到归一化结果:其中, 是k层归一化后的输入,γ、β是引入的一对参数,与模型参数一起学习;
S3123、利用下述逻辑恢复每一层学习到的特征分布:
在所述Efficient‑CapsNet的卷积层间嵌入批量标准化层,以在卷积操作中在批量标准化层上采用权值共享方法,通过神经元的处理方式处理所述编码器卷积输出特征图,以均匀层内数据的分布;
S3124、对所述编码器卷积输出特征图进行深度可分离卷积操作,以构建主胶囊;
S3125、在所述FFCaps层采用所述自注意力机制路由,据以处理获取所述图像特征表示数据。
6.根据权利要求5所述的一种人脸表情自动标注的方法,其特征在于,所述步骤S3125中,采用下述逻辑处理获取所述特征表示:l
其中,B是先验矩阵,利用下述逻辑计算出l+1层的所有胶囊
通过下述挤压函数将所述l+1层的所有胶囊向量的长度挤压到0到1之间,以得到l l l l+1其中,C是通过自注意力机制算法生成的耦合系数矩阵,n表示第l层有n 个胶囊,nl+1 l表示第l层有n 个胶囊,d是第l层胶囊的维度。
7.根据权利要求1所述的一种人脸表情自动标注的方法,其特征在于,所述步骤S32包括:S321、将所述特征表示首先输入到预置非线性投影变换层进行非线性投影变换,以剔除所述特征表示中的冗余无关信息,据以获取样本表征属性数据;
S322、对比学习所述样本表征属性数据,通过对比反馈更新网络,以持续更新所述Efficient‑CapsNet编码器的学习参数,据以得到所述最优预训练模型。
8.根据权利要求7所述的一种人脸表情自动标注的方法,其特征在于,所述步骤S322包括:S3221、将图像图像表征矩阵输入具有两层的非线性MLP(Dense‑>Relu‑>Dense)层,以将所述图像表征矩阵映射到对比损失的空间中;
S3222、采用滑动窗口来对矩阵进行分块,对每个分块单独计算窗口块的方差:其中ωi为高斯核权重,N为窗口块内的元素个数;
S3223、以下述逻辑计算两个所述图像表征矩阵对应的所述窗口块b及b′的协方差:S3224、利用下述逻辑处理所述窗口块的方差及所述协方差,以得到SSIM值:
2 2
其中c1=(k1L) 、c2=(k2L) 为用以稳定除法的两个变量,c1和c2中的L是矩阵元素值的动态范围,k1和k2是超参数;
S3225、对所有所述窗口块的SSIM进行平均,据以获取平均值,以作为所述图像表征矩阵的整体相似度:其中B为矩阵滑动窗口块的个数,z和z′为输入的表征矩阵,zi和z′i为两个表征矩阵对应的第i个窗口块的表征矩阵;
S3226、利用基于SSIM算法的可调温度‑归一化交叉熵损失,以下述余弦相似性度量变换逻辑,对比损失计算所述整体相似度,以得到SSIM矩阵相似度量对比损失函数:S3227、根据所述SSIM矩阵相似度量对比损失函数反馈所述更新网络,据以获取所述最优预训练模型。
9.根据权利要求1所述的一种人脸表情自动标注的方法,其特征在于,所述步骤S5包括:S51、将经过预处理的所述人脸表情图像数据集输入网络的输入所述自动标注模型;
S52、对所述人脸表情数据集中的所述无标注数据集进行辅助任务学习,经迭代训练保存对比效果最优的编码器模型;
S53、在所述下游任务中,所述待标注数据集输入所述预训练模型,通过有监督学习策略进行迭代监督训练,以获取并保存最优的标注模型;
S54、结合所述编码器模型与所述标注模型,以得到最优的所述自动标注模型,据以获取所述人脸表情自动标注结果。
10.一种人脸表情自动标注的系统,其特征在于,所述系统包括:
表情数据集模块,用于以预置图像采集设备获取人脸表情图像的图像帧,以所述图像帧形成数据集,剔除所述数据集中的人脸采集异常图像,选取所述数据集中的峰表情对应的人脸图像作为人脸表情图像数据集,预处理所述人脸表情图像数据集;
数据集划分模块,用以按照预置划分比例划分所述人脸表情图像数据集,其中,前述划分操作得到的子集包括:待标注数据集及无标注数据集,人工感情标注所述待标注数据集,以得到有监督训练的数据集,以所述无标注数据集作为自监督学习的训练数据集,所述数据集划分模块与所述表情数据集模块连接;
最优预训练模型获取模块,用以构建基于Efficient‑CapsNet的自监督标注模型,利用Efficient‑CapsNet编码器作为自监督学习辅助任务中的表征提取编码器,并进行对比学习,以获得最优预训练模型,所述最优预训练模型获取模块与所述数据集划分模块连接,所述最优预训练模型获取模块包括:特征表示模块,用以数据增强处理所述人脸表情图像,以得到待编码图像、以Efficient‑CapsNet编码器处理所述待编码图像,据以获取图像特征表示数据;
自监督学习模块,用以根据所述图像特征表示数据进行对比学习,据以构建自监督标注模型的辅助任务,设置辅助训练参数,将所述自监督学习的训练数据集输入所述辅助任务,以进行迭代对比训练,据以获取并保存所述最优预训练模型,所述自监督学习模块与所述特征表示模块连接;
自动标注模型获取模块,用以在自监督的下游任务中,将所述最优预训练模型结合预置分类器,在所述有监督训练的数据集上进行有监督训练及预置调节操作,以得到自动标注模型,所述自动标注模型获取模块与所述数据集划分模块连接,所述自动标注模型获取模块包括:下游任务构建模块,用以构建所述自监督标注模型的下游任务,其中,所述下游任务包括:下游任务编码器及下游任务分类器;
有监督迭代训练模块,用以设置下游训练参数,将所述有监督训练的数据集输入所述下游任务,结合所述下游任务分类器及所述最优预训练模型,以进行有监督的迭代训练,据以获取并保存所述自动标注模型,所述有监督迭代训练模块与所述下游任务构建模块连接;
自动标注模块,用于以所述自动标注模型对所述人脸表情图像进行情感自动标注,以得到人脸表情自动标注结果,所述自动标注模块与所述表情数据集模块、所述最优预训练模型获取模块及所述自动标注模型获取模块连接。