1.一种面向迁移学习的模态缺失情景图像处理方法,其特征在于,包括以下步骤:
1)、采集源域图像和目标域图像,所述源域图像为光学图像;
2)、训练跨模态知识蒸馏模型,所述跨模态知识蒸馏模型包括源域模型和目标域模型;
所述源域模型包括源域特征提取模块,所述目标域模型包括目标域特征提取模块;所述源域特征提取模块提取所述源域图像的源域特征集合,所述目标域特征提取模块提取所述目标域图像的目标域特征集合;
所述跨模态知识蒸馏模型还包括特征指派规划模型、自适应知识蒸馏模块和对比学习模型,所述特征指派规划模型对所述源域特征集合和目标域特征集合进行特征指派规划,得到源域‑目标域特征对齐结果;
所述自适应知识蒸馏模块通过引入带温度调节的KL散度作为损失函数对源域‑目标域特征对齐结果进行类别级知识传递;
所述对比学习模型基于类别一致性构造正样本对与负样本对,采用InfoNCE损失函数构建优化目标;
步骤2)中所述特征指派规划模型对所述源域特征集合和目标域特征集合进行特征指派规划具体为:求解下式,得到最优匹配矩阵 : ,
约束条件:
,
式中, 表示当源域特征 被分配到目标域特征j时的成本; 是余弦相似度的最大值,余弦相似度越高,匹配成本越低; 表示当源域特征 被分配到目标域特征j时的余弦相似度; 为布尔变量,表示特征 对特征j的分配; 表示源域特征集合, 表示第i个源域特征, 表示目标域特征集合, 表示第j个目标域特征,为最优匹配矩阵 中第i行第j列的元素;
步骤2)中所述自适应知识蒸馏模块通过引入带温度调节的KL散度作为损失函数对源域‑目标域特征对齐结果进行类别级知识传递,具体为: ,
式中, 和 分别为 类别下的目标域特征和源域特征, 为处理图像数量的批次大小,为类别总数, 为Kullback‑Leibler散度,其中 为类别 的第i个检测框的概率, 为类别c所有检测框的平均预测概率, 为类别 的检测框数量, 为类别的方差;
3)、联合所述自适应知识蒸馏模块和对比学习模型共同优化所述跨模态知识蒸馏模型,得到训练完成的目标域模型;
4)、利用训练完成的目标域模型完成图像处理。
2.如权利要求1所述的面向迁移学习的模态缺失情景图像处理方法,其特征在于,步骤
2)中所述源域特征集合和目标域特征集合均为单模态特征集合。
3.如权利要求1所述的面向迁移学习的模态缺失情景图像处理方法,其特征在于,求解得到最优匹配矩阵还包括类别一致性约束条件:一、如果源域特征 与目标域特征 的类别不一致,则不允许匹配;
二、如果源域特征 与目标域特征 的类别一致,则增加匹配数。
4.如权利要求1所述的面向迁移学习的模态缺失情景图像处理方法,其特征在于,步骤
2)中InfoNCE损失函数通过下式表示:
式中, 为余弦相似度函数,为温度系数, 表示 类特征, 表示非 类特征, 为处理图像数量的批次大小,为类别总数, 和 分别为 类别下的目标域特征和源域特征, 和 分别为非 类别下的目标域特征和源域特征。
5.如权利要求1所述的面向迁移学习的模态缺失情景图像处理方法,其特征在于,步骤
3)中联合所述自适应知识蒸馏模块和对比学习模型共同优化所述跨模态知识蒸馏模型,通过下式表示: ,
式中, 为 的权重系数, 为带温度调节的KL散度损失函数, 为的权重系数, 为InfoNCE损失函数。
6.如权利要求1所述的面向迁移学习的模态缺失情景图像处理方法,其特征在于,步骤
2)中正样本对为源域特征与目标域特征配对且类别一致;负样本对为源域特征与目标域特征配对且类别不一致。
7.如权利要求1所述的面向迁移学习的模态缺失情景图像处理方法,其特征在于,步骤
4)中图像处理为图像分类、图像分割或目标检测。