1.一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，包括如下步骤：

步骤1，利用机器翻译，将其他语言的情感分析图文数据集翻译成蒙古语图文数据集，与网上收集到的蒙古语图文数据集一起组成以图文对形式存在的最终数据集，利用所述最终数据集训练多模态情感分析模块；

步骤2，将待测的蒙古语图文数据以图文对的形式送入讽刺识别模块中进行讽刺识别，识别是否具有讽刺修辞手法，若存在讽刺修辞手法，则直接判定情感极性为消极；若不存在讽刺修辞手法，则进入下一步；

步骤3，将不存在讽刺修辞的图文对送入图文语义相关性检测模块中进行检测，若检测出图文语义不相关，则只进行文本情感分析，以避免图像对整体情感极性的影响；否则进入下一步；

步骤4，将图文相关的图文对送入训练得到的多模态情感分析模块中进行情感分析，从而得出情感极性。

2.根据权利要求1所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，所述步骤1中，其他语言为英语，将Twitter的英文情感分析图文数据集送入英汉翻译模型翻译为汉语图文数据集，再将得到的汉语图文数据集送入基于迁移学习的蒙汉翻译模型中，将其翻译为蒙古语图文数据集。

3.根据权利要求1所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，所述多模态情感分析模块使用的是基于BERT模型框架的鲁棒性预训练模型，用多头自注意力机制捕获文本特征和图像特征进行特征融合后进行情感分类，将带有标签的训练集送入多模态情感分析模块，通过统计原始标签和输出的分类是否一致，将F值作为评判标准，将计算得到的F值和阈值比较，若大于阈值，则继续训练至设定的迭代次数，否则，训练结束，F值为正确率和召回率的调和平均值，计算公式如下：F值＝正确率*召回率*2/(正确率+召回率)。

4.根据权利要求1所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，所述讽刺识别模块中，将文本特征、图像特征和图像属性特征作为三种模态，首先提取图像特征和图像属性特征，再利用图像属性特征和Bi‑GRU提取文本特征，最后将三种模态特征进行重构融合成一个特征向量来预测是否具有讽刺表达。

5.根据权利要求4所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，所述讽刺识别模块进行讽刺识别的步骤如下：首先使用一个预训练和微调的ResNet模型获得图像的14*14区域向量，公式如下：其中， 为图像中的第i个区域Ii的特征；

其次求图像向量平均值vav，公式如下：其中，Nr为图像中的区域个数；

然后使用标签识别网络预测并生成每个图像的多个图像属性特征，通过特征融合网络对中间层图像属性特征和输出层图像属性特征进行特征融合，得到特征融合网络输出的融合特征；

通过第一标签识别网络对输出层图像属性特征进行识别，得到第一类图像标签；通过第二标签识别网络对融合特征进行识别，得到第二类图像标签；

然后将原始图像向量加权平均图像特征向量通过两层卷积网络得到注意力权重，用来重构得到重构向量，然后使用Bi‑GRU获得文本特征，得到的最终隐藏状态进行平均得到指导向量vw，公式如下：

其中，ht表示t时刻的隐藏状态，L表示文本的长度；

最后将指导向量vw转换成定长的表示，计算各模态的注意力权值，将其作为定长特征向量的权重得到相应模态下的最终单一向量，从而进行最后的讽刺识别检测。

6.根据权利要求1所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，所述图文语义相关性检测模块中，首先提取图文关联的文本语义单元；然后进行图文语义对齐操作，将得到的文本语义单元特征向量Vsimilar经过ResNet计算抽取的图像特征作为图文对齐自注意力机制中的keys与values向量矩阵；最后将图文语义对齐编码层得到的视觉特征向量和文本特征向量相连接输入到多模态编码层中，将此层计算所得的向量输入到线性激活函数Softmax中，以获得图文相关性检测结果。

7.根据权利要求6所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，经过蒙古语语义标签数据集训练图像分类模型后，使用TextRank算法对文本提取文本语义单元，然后对文本对应的图像使用经过预训练的图像分类模型提取图像中可信度最高的前几个语义标签，之后使用训练好的GloVe词向量模型分别对文本语义单元和图像语义标签中的每个词分别生成词向量，进而计算文本语义单元中每项和对应图像的语义标签之间的相似度，根据相似度选择前五项作为图文关联的文本语义单元，相似度similarity的计算公式如下：其中， 和 分别对应文本语义单元与图像标签词的词向量；

在图文语义对齐编码层中以图文关联的文本语义单元特征引导图像特征进行向量计算，从而使得图像特征中与文本语义相关的图像区域分配更多的权重信息，具体公式为其中，V1是具有和文本特征相同维度的视觉特征，Vsimiliar是文本语义单元特征向量，Att(V1,Vsimiliar)是进行向量计算后获取的权重，Wq，Wv是可学习参数，dk表示向量长度。

8.根据权利要求1所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，应用多模态细粒度特征混合方法，对图像特征、文本特征、图像属性特征的各个组成成分的模态信息进行细粒度分类，并生成负样本，作为最终数据集的补充数据，加入至多模态情感分析模块的训练中，以缓解蒙古语数据集数量少的问题，从而提升表征能力和特征提取效果。

9.根据权利要求8所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，所述多模态细粒度特征混合方法包括：首先，通过RCNN模型获得最终数据集的数据即多模态图文数据的视觉区域特征I，通过门控循环单元GRU获得文本单词特征T，所述视觉区域特征I指的是将图像划分为多个区域后各个区域的特征，所述文本单词特征T，指的是将句子划分为多个单词后各个单词的特征；然后通过全连接层将所述视觉区域特征I和所述文本单词特征T转换到相同维度的向量，获得所述视觉区域特征I中的视觉特征组成成分Ii和所述文本单词特征T中的文本特征组成成分Ti，具体公式如下：

Ii＝tanh(WII+bI)

Ti＝tanh(WTT+bT)

其中，WI,WT,bI,bT表示可学习的权重和偏置参数；

然后计算视觉区域特征I的模态内相关性 和模态间相关性 并进行归一化处理，公式如下：

其中， 表示图像划分的所有区域的视觉特征组成成分内的加权平均表示， 表示图像划分的所有区域的视觉特征组成成分间的加权平均表示，|| ||表示求向量的绝对值；

最后对视觉特征组成成分进行来自模态内和模态间的信息融合，获得融合的视觉特征，将融合的视觉特征利用情感分析模块进行分类，得出多模态情感分类结果，具体公式如下：

其中，SA(Ii)和GA(Vi)分别表示自身注意力权重和模态间注意力权重信息。

10.根据权利要求8所述基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法，其特征在于，在进行多模态情感分析时，加入负样本以提升图像的表征性能并弥补数据集不足的缺陷，方法如下：对于一个图像文本对，通过视觉编码器与文本编码器，分别得到图像特征与文本特征；对于图像，通过目标检测方法得到图像的目标区域，并输入至视觉编码器，得到真实图像区域特征，将某个目标区域使用其他图像的目标区域进行替换后再输入至视觉编码器，得到伪图像区域特征；对于文本，将文本中的某个词进行替换后输入至文本编码器，得到伪文本特征；基于真实图像区域特征、伪图像区域特征以及文本特征构造文本‑图像排序损失函数，基于图像特征、文本特征及伪文本特征构造图像‑文本排序损失函数，并进行网络训练。