1.一种基于对抗学习的去性别偏见的图像识别模型的构建方法,其特征在于,包括以下步骤:
(1)准备包含人类信息的COCO子数据集作为第一样本集,并为第一样本集中的图像添加性别标签,该性别标签与图像形成第二样本集,将第一样本集和性别标签形成第三样本集;
(2)构建并训练图像分类网络,该图像分类网络包括第一特征提取器和由至少2层全连接层组成的第一分类器,训练时,以第一样本集对图像分类网络进行训练,优化图像分类网络的网络参数;
(3)构建并训练对抗学习网络,该对抗学习网络包括经过步骤(2)训练后参数确定的第一特征提取器和由卷积层和全连接层组成的对抗学习器,训练时,以第二样本集对对抗学习网络进行训练,优化对抗学习器的网络参数;
(4)构建图像识别模型的训练体系,该训练体系包括第二特征提取器、第二分类器以及经步骤(3)训练参数确定的对抗学习器,第二特征提取器的输出分别输入至对抗学习器和第二分类器,其中,第二特征提取器、第二分类器与步骤(2)中训练前图像分类网络中的第一特征提取器和第一分类器的结构相同;
(5)以第二分类器的目标任务损失和对抗学习器的去除性别偏见损失之和作为训练体系的总损失,根据第三样本集,利用该总损失对训练体系进行训练,当训练结束后,提取参数确定的第二特征提取器和第二分类器作为图像识别模型;
其中,训练体系的总损失Loss为:
Loss=Loss_Y+Loss_Adv (1)
Loss_Y为目标任务损失,计算公式为:
Loss_Adv为去除性别偏见损失,计算公式为:
Loss_Adv=‑λ∑L(adv(hi),Zi) (3)
其中,i为样本图像的索引,xi为不含性别标签的样本图像,N为样本图像总数,c1(xi)为样本图像xi输入至网络参数经训练确定的图像分类网络后,图像分类网络的输出矩阵,c2(xi)为样本图像xi输入至训练体系中第二征提取器、第二分类器后,第二分类器的输出矩阵,k为输出矩阵c2(xi)或c1(xi)的维度,λ是用于调节去除性别偏见损失占比的超参数,Zi是样本图像xi的真实性别标签,hi是样本图像xi输入至训练体系中第二特征提取器后输出的特征向量;L(adv(hi),Zi)表示hi输入至对抗学习器输出的性别预测值adv(hi)与的真实性别标签Zi的交叉熵。
2.如权利要求1所述的基于对抗学习的去性别偏见的图像识别模型的构建方法,其特征在于,所述第一特征提取器采用预训练的ResNet‑50模型;所述第一分类器包括4层全连接层,全连接层采用ReLU函数,其输入为ResNet‑50模型的输出;还包括一个输出层,输出层采用logits层,经过softmax函数得到图像标签预测的概率分布。
3.如权利要求1或2所述的基于对抗学习的去性别偏见的图像识别模型的构建方法,其特征在于,训练图像分类网络时,训练参数Batch大小设为32,epoch最大值设为50;以输入图像的预测标签值与真实标签值的交叉熵作为损失函数,利用损失函数更新图像分类网络的网络参数。
4.如权利要求1所述的基于对抗学习的去性别偏见的图像识别模型的构建方法,其特征在于,所述对抗学习器包括3个卷积层和4个全连接层,全连接层采用ReLU函数,还包括一个输出层,输出层采用logits层,经过softmax函数得到图像性别预测的概率分布。
5.如权利要求1所述的基于对抗学习的去性别偏见的图像识别模型的构建方法,其特征在于,训练对抗学习网络时,训练参数Batch大小设为32,epoch最大值设为70;以输入图像的预测性别标签值与真实性别标签值的交叉熵作为损失函数,利用损失函数更新对抗学习器的网络参数。
6.如权利要求1所述的基于对抗学习的去性别偏见的图像识别模型的构建方法,其特征在于,在对训练体系训练时,设置Batch大小设为32,训练最大迭代次数设为50;分类器的网络参数采用Adam优化器进行更新,Adam优化器参数中,学习率alpha设置为0.001,第一次估计的指数衰减率beta1设为0.9,第二次估计的指数衰减率beta2设为0.999,模糊因子‑8epsilon设为10 ;将第三样本集中的图像输入至训练体系的第二特征提取器中,根据总损失函数更新训练体系中第二特征提取器、第二分类器的网络参数,训练结束后,取参数确定的第二特征提取器和第二分类器作为图像识别模型。
7.如权利要求1所述的基于对抗学习的去性别偏见的图像识别模型的构建方法,其特征在于,在获得图像识别模型后,还对图像识别模型进行去性别偏见性能的评价,当图像识别模型的去性别偏见性能不满足要求时,继续利用训练体系对图像识别模型进行训练;
具体去性别偏见性能的评价过程为:
利用公式(4)计算图像识别模型的去性别偏见性能值β:
其中,Zi是样本图像xi的真实性别标签,adv(hi)为hi输入至对抗学习器输出的性别预测值,hi是样本图像xi输入至第二特征提取器后输出的特征向量,i为样本图像的索引,n为样本图像的总个数,当adv(hi)等于Zi时,f(adv(hi)==Zi)取值为1,当adv(hi)不等于Zi时,f(adv(hi)==Zi)取值为0;
当去性别偏见性能值β越接近于1,表示图像识别模型的去性别偏见性能越好,当去性别偏见性能值β小于阈值时,则认为图像识别模型的去性别偏见性能不满足要求。
8.一种去性别偏见的图像识别模型,其特征在于,所述图像识别模型通过如权利要求1~7任一项所述的基于对抗学习的去性别偏见的图像识别模型的构建方法获得。
9.一种去性别偏见的图像识别方法,其特征在于,包括以下步骤:
(a)利用权利要求1~7任一项所述的基于对抗学习的去性别偏见的图像识别模型的构建方法构建参数确定的图像识别模型;
(b)将待识别图像输入至步骤(a)构建的图像识别模型中,经过计算输出去性别偏见的图像识别结果。