1.一种基于语义信息增强模型的跨域遥感图像检索方法,其特征在于,包括:获取有标签的源域图像、无标签源域图像和无标签目标域图像组成的跨域遥感图像的数据集;
在基于语义信息增强模型CLIP所构建的原始检索模型中,在用于连接图像编码器和文本编码器的Transformer模块加入并行低秩分解矩阵,以形成改进检索模型;
将跨域遥感图像数据集输入改进检索模型中,通过图像编码器从有标签的源域图像的类别中心获取图像原型,并通过文本编码器从有标签的源域图像的类别中心获取文本原型;
所述通过图像编码器从有标签的源域图像的类别中心获取图像原型,具体包括:图像原型 直接从带标签源域图像的类别中心获取,公式为:其中, 表示有标签源域样本属于标签 类, 表示 的样本数量;
使用图像原型为无标签源域图像和无标签目标域图像产生类中心 ,根据类中心 进行最近中心点分类生成第一个伪标签 ,并使用文本原型为无标签源域图像和无标签目标域图像生成第二个伪标签 ;
所述使用图像原型为无标签源域图像和无标签目标域图像产生类中心 ,其公式为:其中, 表示在softmax时由无标签图像特征和图像原型所计算的第 个元素;
通过Transformer模块计算第一个伪标签 和第二个伪标签 的softmax概率值,将softmax概率值聚合为平均概率向量,根据平均概率向量的熵值和置信度分数得到跨域遥感图像的检索结果。
2.如权利要求1所述的一种基于语义信息增强模型的跨域遥感图像检索方法,其特征在于,所述跨域遥感图像的数据集具体包括:少量带有标签的源域图像 、大量无标签源域图像 和无标签目标域图像 ,其中 、 和 分别是有标签源域图像、无标签源域图像和目标域的图像数量。
3.如权利要求2所述的一种基于语义信息增强模型的跨域遥感图像检索方法,其特征在于,源域和目标域有相同的标签空间 ,源域和目标域的数据分布不同,即且 。
4.如权利要求1所述的一种基于语义信息增强模型的跨域遥感图像检索方法,其特征在于,在Transformer模块加入并行低秩分解矩阵,具体包括:注入矩阵包含Transformer模块的三部分,第一部分添加低秩矩阵到 、 和 中,以在注意力计算中获得新的查询、键和值,公式为:其中, 为图像或文本描述的输入序列, 为缩放点积注意力机制的输出,Q、K、V为计算出的矩阵;
第二部分在注意力模块后的线形层添加可训练矩阵 和 ,公式为:其中,Linear为线性层;
第三部分将修改的CLIP图像编码器 和文本编码器 标识为 和 ,和 分别是输入图像和对应的文本描述。
5.如权利要求1所述的一种基于语义信息增强模型的跨域遥感图像检索方法,其特征在于,通过文本编码器获取文本原型,具体包括:通过将文本嵌入输入到CLIP的文本编码器中,文本原型或文本语义特征 ,其公式为:。