1.一种知识增强的用户多模态在线评论质量评估方法，其特征在于，基于知识增强的多模态在线评论质量评估模型，该模型包括多模态输入层、模态内特征提取层、模态间特征交互层和融合输出层；该质量评估方法包括：S1、获取用户的历史多模态在线评论，任一所述历史多模态在线评论包括一条评论文本和多张关联图片；

S2、在多模态输入层，分别对所述评论文本和关联图片进行编码，对应获取文本特征表示和图片特征表示；

S3、在模态内特征提取层，基于文本注意力机制获取深层文本语义特征表示；以及基于图片注意力机制获取深层图片语义特征表示；

S4、在模态间特征交互层，根据所述深层文本语义特征表示和深层图片语义特征表示，基于协同注意力机制获取模态间的语义融合特征向量；

S5、在所述融合输出层，拼接所述深层文本语义特征表示、深层图片语义特征表示和语义融合特征向量，预测所述历史多模态在线评论的质量评估等级；

S6、根据质量评估的预测和真实等级，构建主损失函数；根据各个所述历史多模态在线评论，基于多模态评论数据实例内和实例间的两级监督对比学习策略，构建辅助损失函数；

根据所述主损失函数和辅助损失函数，构建总损失函数；并根据所述总损失函数，对模型进行训练直至收敛；

S7、将待评估的多模态在线评论作为收敛后的模型的输入，获取该待评估的多模态在线评论的质量评估等级。

2.如权利要求1所述的用户多模态在线评论质量评估方法，其特征在于，所述S6中主损失函数 的获取过程包括：给定同一批量下的训练实例B，其中包含|B|个训练样本，每一训练样本对应一个历史多模态在线评论，将主任务损失定义为多任务问题的交叉熵损失，其中，yic表示第i个样本的质量等级为c的真实标签； 表示第i个样本识别为质量等级c的概率值；K为质量等级的总数。

3.如权利要求2所述的用户多模态在线评论质量评估方法，其特征在于，所述S6中辅助损失函数 的获取过程包括：(1)实例内一致性对比损失函数：

将训练实例B中每个训练样本在模态内特征提取层学习到的深层文本语义特征表示Ti′、深层图片语义特征表示Ii′组成图文对表示 并将训练样本的真实标签大于等于给定的标签阈值对应的图文对标记为正样本 将训练样本的真实标签小于给定的标签阈值对应的图文对标记为负样本 则同一批量下的训练实例B中，模态内一致性对比损失 的计算方式如下：其中，log为对数函数；D＝{1,2,...,|B|}是实例B内样本的索引集合； 为评分函数；

exp为指数函数；sim为相似性评估，sim(A,B)＝A·B；τ为温度超参数；

(2)实例间一致性对比损失函数：

定义训练实例B中每个训练样本对应的质量等级真实标签为(y1,y2,…,y|b|)，将各个训练样本于模态间特征交互层获取的对应特征向量表示Fi，在嵌入空间中的相互距离进行调整，其中减少具有相同质量等级评论的特征向量之间的距离，增加具有不同质量等级评论的特征向量之间的距离，则同一批量下的训练实例B中，模态间一致性对比损失 的计算方式如下：其中，Ci＝{c|yc＝yi,c≠i}是同一批量B中与yi相同标签的样本，|Ci|表示对应的样本数量；

以及所述总损失函数表示为：

其中，λ为用于调整辅助对比学习损失效应的超参数。

4.如权利要求1所述的用户多模态在线评论质量评估方法，其特征在于，所述S3引入双层语言特征感知的文本注意力机制，该机制包括单词级和句子级注意力层，其中：(1)在所述单词级注意力层获取局部语言特征感知的单词级文本特征表示，包括：S311、设计单词级的词性嵌入方法；包括：

对于给定评论文本S，将评论文本S中第j条评论句子序列Wj＝{[cls],w1,w2,…,wn‑2,[sep]}中的所有单词依据单词词性划分成形容词、副词、动词和其它单词四种不同的类别；

其中，[cls]、[sep]分别表示起始、结束字符；j＝1,2,...,m，m为评论句子的总数；n表示评论句子序列的最大长度；

构建和随机初始化词性嵌入矩阵 其

中，padj、padv、pverb、pother分别表示形容词、副词、动词和其它单词对应的词性嵌入；dp是词性嵌入的维度；

根据Wj中每个单词对应的词性类别，通过查找Pvocab将Wj转化为与句子序列等长的单词级词性嵌入表示w w w

S312、定义单词级的文本特征表示为Tj，将Tj转化为查询向量 和键向量Kj，并进行w缩放点积计算，与单词级词性嵌入的注意力得分Ej进行相加，通过softmax激活函数计算语言特征感知的单词级文本特征注意力权重w

其中， 为可训练的参数矩阵，dim1为 Kj向量嵌入的维度；

w w

S313、将Tj转化为对应的值向量Vj ，并通过 对其进行加权融合，再利用残差连接获得局部语言特征感知的单词级文本特征表示(2)在所述句子级注意力层，获取全局语言特征感知的句子级文本特征表示，并作为所述深层文本语义特征表示，具体包括：w′

S321、将Wj对应输出Tj 取平均，获得评论文本S对应的句子级文本特征表示d表示单词特征向量的维度；

其中，Acg表示平均池化；

S322、将Wj＝{[cls],w1,w2,…,wn‑2,[sep]}中所有单词的词性类别进行汇总，获得Wj所对应的每种词性类别的数量，记作Nj＝{nadj,nadv,nverb,nother}，与词性嵌入矩阵得到句子序列Wj对应加权融合后的句子级词性嵌入表示 则评论文本S对应的句子级词性嵌入表示为

s s s

S323、将T 转化为查询向量Q 和键向量K，并进行缩放点积运算，与句子级词性嵌入的s注意力得分E 相加，利用softmax激活函数计算语言特征感知的句子级文本特征注意力权重s s

其中， 为可训练的参数矩阵，dim2为Q 、K 向量嵌入的维度；

s s s

S324、将T 转化为值向量V，并利用注意力权重A对其进行加权融合，通过残差连接来获得评论文本S对应的全局语言特征感知句子级文本特征表示s s s

T′＝T+AV。

5.如权利要求1所述的用户多模态在线评论质量评估方法，其特征在于，所述S4中基于协同注意力机制获取模态间的语义融合特征向量F，具体是指：I′

其中，Attention表示协同注意力机制；Q 表示深层图片语义特征I'所对应的查询向T′ T′ I′ T′量，K 、V 分别表示深层文本语义特征T'所对应的键、值向量；dim3为Q 、K 向量嵌入的维度。

6.如权利要求5所述的用户多模态在线评论质量评估方法，其特征在于，所述S5具体包括：将T'、I'和F进行特征拼接得到向量Z，将拼接后的向量Z通过线性函数和softmax激活函数转化为多分类问题下的概率分布；

Z＝concat([F，I′，T′])

T

X＝WzZ+bz

其中，Wz、bz是输出层中线性函数对应的权重参数和偏置项；X＝{x1，x2，...，xK}被转化为概率分布 表示样本被识别成质量等级c的概率值；K为质量等级的总数；

将最大概率值对应的质量等级作为所述历史多模态在线评论的质量评估等级预测结果。

7.如权利要求1～6任一项所述的用户多模态在线评论质量评估方法，其特征在于，所述S2中：采用预训练的BERT模型对所述评论文本进行编码；和/或采用预训练的ResNet50模型对所述关联图片进行编码。

8.一种用户多模态在线评论质量评估系统，其特征在于，基于知识增强的多模态在线评论质量评估模型，该模型包括多模态输入层、模态内特征提取层、模态间特征交互层和融合输出层；该质量评估系统包括：获取模块，用于获取用户的历史多模态在线评论，任一所述历史多模态在线评论包括一条评论文本和一张关联图片；

编码模块，用于在多模态输入层，分别对所述评论文本和关联图片进行编码，对应获取文本特征表示和图片特征表示；

提取模块，用于在模态内特征提取层，基于文本注意力机制获取深层文本语义特征表示；以及基于图片注意力机制获取深层图片语义特征表示；

交互模块，用于在模态间特征交互层，根据所述深层文本语义特征表示和深层图片语义特征表示，基于协同注意力机制获取模态间的语义融合特征向量；

预测模块，用于在所述融合输出层，拼接所述深层文本语义特征表示、深层图片语义特征表示和语义融合特征向量，预测所述历史多模态在线评论的质量评估等级；

训练模块，用于根据质量评估的预测和真实等级，构建主损失函数；根据各个所述历史多模态在线评论，基于多模态评论数据实例内和实例间的两级监督对比学习策略，构建辅助损失函数；

根据所述主损失函数和辅助损失函数，构建总损失函数；并根据所述总损失函数，对模型进行训练直至收敛；

评估模块，用于将待评估的多模态在线评论作为收敛后的模型的输入，获取该待评估的多模态在线评论的质量评估等级。

9.一种存储介质，其特征在于，其存储有用于知识增强的用户多模态在线评论质量评估的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～7任一项所述的用户多模态在线评论质量评估方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的用户多模态在线评论质量评估方法。