1.一种基于多模态语义的对抗样本检测方法，其特征在于，构建并训练对抗样本检测网络，将一组干净样本和对抗样本输入训练好的对抗样本检测网络，具体执行以下步骤：步骤1、使用多种不同文本生成网络提取特征，生成互补的图像描述；然后使用文本语义编码器提取不同图像描述中的文本语义；最后使用文本耦合器将互补的文本语义进行耦合，输出耦合后文本语义 ；详细过程如下：步骤1.1、使用三种文本生成网络从图像提取特征，生成具有互补语义的图像描述，具体公式如下所示：；

式中， 是表示图像描述， 为用于生成图像描述的文本生成网络，是训练集 中的干净样本；

步骤1.2、将步骤1.1所得三种图像描述输入基于CLIP的文本语义编码器，提取三个模态对应的文本特征向量，得到多视角的文本语义；

步骤1.3、文本耦合器通过语义均值融合法将步骤1.2所得多视角的文本语义进行融合，并对融合后文本语义进行标记和规范化，得到最终耦合后文本语义 ；

步骤2、使用基于ViT的视觉语义编码器对原始干净样本和对抗样本图像进行视觉语义提取，得到对应的干净特征/对抗特征 ；

步骤3、使用异构语义对齐模块将步骤1所得文本语义和步骤2所得视觉语义在向量空间中映射并对齐；

步骤4、使用基于MLP结构的检测头来学习对齐后的视觉语义和文本语义的差异，最终检测出对抗样本。

2.根据权利要求1所述的基于多模态语义的对抗样本检测方法，其特征在于，所述耦合后文本语义 的具体计算过程如下：首先，将各图像描述划分表示为单词序列 ； 为图像描述里的单词，m为一句话的长度；

接着，将各个单词 转化为一个单词向量 ，再将所有单词嵌入到一个文本矩阵中；

然后通过Transformer编码器将文本矩阵 转换为文本序列 ，并将 进行语义均值融合处理；

最后，使用 对文本序列 进行标记和规范化，输出耦合后文本语义 ：；

上式中，Avg表示取均值计算， 表示将单词向量嵌入到文本矩阵中。

3.根据权利要求1所述的基于多模态语义的对抗样本检测方法，其特征在于，步骤2基于ViT的视觉语义编码器提取视觉语义的具体公式为：；

上式中，X为输入的图像， 为视觉语义编码函数， 为图像分割和嵌入操作， 函数表示多层Transformer， 为位置嵌入。

4.根据权利要求1所述的基于多模态语义的对抗样本检测方法，其特征在于，步骤3使用异构语义对齐模块将文本语义和视觉语义在向量空间中映射并对齐的具体公式如下：；

；

；

其中， 表示将语义映射到高维空间， 表示语义之间的相似度计算；为输入的图像， 为干净样本，为图像描述， 为对抗样本， 为干净样本和图像描述的相似度分数； 为对抗样本和文本描述的相似度分数； 为同时考虑干净样本和对抗样本与图像描述之间的相似性分数。

5.根据权利要求1所述的基于多模态语义的对抗样本检测方法，其特征在于，步骤4中的检测头基于多层感知器网络MLP，检测头包括两个分支，第一个分支在Linear层之后进跟着BN层，然后接着一个ReLU激活函数，用于对输入语义进行变换，确保语义的分布稳定；第二个分支包括两个Linear层、BN层和ReLU激活函数，用于提取更加复杂的语义，并增强网络的表现能力；然后使用Feature Aggregation模块将两个分支的输出进行语义信息的聚合，并在最终的输出层应用 Sigmoid 激活函数。

6.根据权利要求1所述的基于多模态语义的对抗样本检测方法，其特征在于，对抗样本检测网络的训练损失函数如下：；

其中， 为sigmoid激活函数，为对抗样本和干净样本的总数量，为真标签；

通过最小化损失函数 ，使得检测头有效学习语义空间中干净样本和混合样本之间的细微差异。