1.一种社交网络上的多模态网络欺凌检测模型,包括步骤S1针对多模态数据的编码和步骤S2针对模态数据的解码;其特征在于,步骤S1还包括:
步骤S101:对数据进行预处理;
步骤S102:对视频和/或图像数据进行处理,对每一个视频和/或图像进行打分评价,构成评价标签;
步骤S103:针对帖子文本内容,通过双向长短期记忆网络Bi‑LSTM和自注意力机制进行训练;
步骤S104:针对帖子评论集数据进行双向的GRU分层注意力机制学习,每个帖子均有一个数量为L的评论集合C,对于第i个评论ci有Li个单词,按照每个单词用wit,并且t∈[0,Li];
计算单词级别的注意力机制,使用单词级别的注意力矩阵针We对每一个单词进行处理,xij=Wewij,然后使用双向GRU进行处理,得到的隐藏状态向量:并且,
使用带有隐藏层的多层感知器来提取更高级别的隐藏层表示uit:uit=tanh(Wwhit+bw)
Ww是单词的权重矩阵,bw是单词层级注意力机制的偏置向量,然后利用如下方式进行归一化处理:最后重构评论ci的语句矩阵,其中单个单词是向量,多个单词构成矩阵:对评论集合的每一个评论内容ci利用双向GRU处理:然后,计算评论注意力表示:
ui=tanh(Wchi+bc)
Wc是评论级别的权重矩阵,bc是评论级别的偏置向量,uc是上下文向量,v是加权后的评论信息;
步骤S105:针对图像和/或视频,通过one‑hot编码的方式,然后利用多层感知机进行特征提取;
步骤S2还包括:
步骤S201:针对不同学习到的向量,通过多层感知机分别进行特征提取,然后将其串联起来整体进行特征提取。
2.根据权利要求1所述的一种社交网络上的多模态网络欺凌检测模型,其特征在于,步骤S103的双向长短期记忆网络Bi‑LSTM中,长短期网络有三个门控单元,分别是输入门it、遗忘门ft以及输出门ot,当前t时刻的输入门it、遗忘门ft以及输出门ot的更新公式为:it=σ(xtWxi+ht‑1Whi+bi)ft=σ(xtWxf+ht‑1Whf+bf)ot=σ(xtWxo+ht‑1Who+bo)ht是每一个状态的隐藏状态,ht‑1是前一个时刻的隐藏状态,xt是词嵌入后的词向量,Wxi,Wxf,Wxo,Whi,Whf,Who是权重向量,bi,bf,bo是偏置向量;
计算隐藏状态ht公式如下:
ht=ot⊙tanh(ct)
其中,ct为当前记忆,为候选记忆;
对每句文本分别采用正序和逆序的两种方式,每个时刻产生两个隐藏状态:
3.根据权利要求1或2所述的一种社交网络上的多模态网络欺凌检测模型,其特征在于,步骤S101包括停用词处理、大小写转换、词形还原的一种或一种以上。