1.一种基于深度融合的多粒度图像‑文本匹配方法，其特征在于，步骤包括：将待匹配图像进行多粒度视觉编码，得到编码后图像；得到所述编码后图像的方法包括：将待匹配图像分割成不重叠的斑块，并线性地嵌入所有的所述斑块，得到若干补丁；将所述补丁传递至预训练的图像编码器，进行多粒度视觉编码；在不同的粒度下创建N+1个的概念表示，得到所述编码后图像；

将待匹配文本进行多粒度视觉编码，得到编码后文本；进行所述多粒度视觉编码的方法包括：利用特殊标记[CLS]将输入文本中的单个句子和一对句子分开，完成所述多粒度视觉编码；

基于所述编码后图像和所述编码后文本训练编码器，得到初始编码器；得到所述初始编码器的方法包括：在编码器训练过程中，引入硬负对，具体的，设定一对(V，T)，其中，T表示V的肯定的例子，并将其他(N‑1)文本视为否定的例子；定义余弦相似度：T

s(V，T)＝gv(vcls) gw(wcls)；

式中，wcls表示文本编码器的输出[CLS]嵌入；gv和gw是将[CLS]嵌入映射到规范化的低维表示的转换；成批处理的视觉文本相似度包括：文本与视觉的相似性包括：

式中， 是一个可学习的温度参数；首先定义对比损失p和y之间的交叉熵为H，之后计算对比损失得分：式中，Lc1为对比损失得分，EV，T～D表示期望值；

将初始编码器特征进行深度融合编码，得到跨模态编码器；所述跨模态编码器主干为多路变压器，每个多路变压器由一个共享的自注意模块和一个用于不同模态的前馈网络池组成；根据输入令牌的方式将每个输入令牌路由给专家，每个层都包含一个视觉专家和一个语言专家；此外，前三层都有为融合编码器设计的视觉‑语言专家，使用模态专家鼓励模型捕获特定于模态的信息；利用共享的自我注意模块学习不同模式之间的对齐；

对所述初始编码器和所述跨模态编码器进行训练，并联合得到最终模型，利用所述最终模型完成图像和文本的匹配；对所述初始编码器和所述跨模态编码器进行训练包括：首先，查询每个图像对应的前k个文本，并按降序排列；查询每个图像对应的前k个文本的方法为：v2t

topk_v2t_sim，topk_v2t_idx＝topk(p )；

查询每个文本对应的前k个图像的方法为：

t2v

topk_t2v_sim，topk_t2v_idx＝topk(p )；

然后，使用训练好的跨模态编码器再次对检索结果进行优化；

最后，以权重方式表示模态内和模态间的相似性，权重的计算方法为：生成与第c张图像最相似的文本特征为：

与第c个文本最相似的图像特征为：

2.一种基于深度融合的多粒度图像‑文本匹配系统，其特征在于，包括：图像编码模块、文本编码模块、训练模块、融合模块和匹配模块；

所述图像编码模块用于将待匹配图像进行多粒度视觉编码，得到编码后图像；得到所述编码后图像的流程包括：将待匹配图像分割成不重叠的斑块，并线性地嵌入所有的所述斑块，得到若干补丁；将所述补丁传递至预训练的图像编码器，进行多粒度视觉编码；在不同的粒度下创建N+1个的概念表示，得到所述编码后图像；

所述文本编码模块用于将待匹配文本进行多粒度视觉编码，得到编码后文本；进行所述多粒度视觉编码的方法包括：利用特殊标记[CLS]将输入文本中的单个句子和一对句子分开，完成所述多粒度视觉编码；

所述训练模块基于所述编码后图像和所述编码后文本训练编码器，得到初始编码器；

得到所述初始编码器的流程包括：在编码器训练过程中，引入硬负对，具体的，设定一对(V，T)，其中，T表示V的肯定的例子，并将其他(N‑1)文本视为否定的例子；定义余弦相似度：T

s(V，T)＝gv(vcls) gw(wcls)；

式中，wcls表示文本编码器的输出[CLS]嵌入；gv和gw是将[CLS]嵌入映射到规范化的低维表示的转换；成批处理的视觉文本相似度包括：文本与视觉的相似性包括：

式中， 是一个可学习的温度参数；首先定义对比损失p和y之间的交叉熵为H，之后计算对比损失得分：式中，Lc1为对比损失得分，Ev，T～D表示期望值；

所述融合模块用于对所述初始编码器进行深度融合，得到跨模态编码器；所述跨模态编码器主干为多路变压器，每个多路变压器由一个共享的自注意模块和一个用于不同模态的前馈网络池组成；根据输入令牌的方式将每个输入令牌路由给专家，每个层都包含一个视觉专家和一个语言专家；此外，前三层都有为融合编码器设计的视觉‑语言专家，使用模态专家鼓励模型捕获特定于模态的信息；利用共享的自我注意模块学习不同模式之间的对齐；

所述匹配模块对所述初始编码器和所述跨模态编码器进行训练，并联合得到最终模型，利用所述最终模型完成图像和文本的匹配；对所述初始编码器和所述跨模态编码器进行训练包括：首先，查询每个图像对应的前k个文本，并按降序排列；查询每个图像对应的前k个文本的方法为：v2t

topk_v2t_sim，topk_v2t_idx＝topk(p )；

查询每个文本对应的前k个图像的方法为：

t2v

topk_t2v_sim，topk_t2v_idx＝topk(p )；

然后，使用训练好的跨模态编码器再次对检索结果进行优化；

最后，以权重方式表示模态内和模态间的相似性，权重的计算方法为：生成与第c张图像最相似的文本特征为：

与第c个文本最相似的图像特征为：