利索能及
我要发布
收藏
专利号: 2021114710167
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多模态的冷链配载用户画像标签抽取方法,其特征在于,包括如下步骤:步骤1:输入原始的冷链配载数据集D1,对数据集进行去重、去空,清洗后得到样本集D2;

步骤2:使用K‑means对样本集D2进行聚类,得到N个聚类点簇,进而将聚类后的样本集D2打上标签;

步骤3:将带标签的文本样本集作为BERT模型的输入,得到特征向量T1,将得到的特征向量T1传入长短期记忆网络进一步提取特征,得到文本特征向量T2;

步骤4:获取双模态交互注意力矩阵Bim,具体步骤如下:步骤4.1:将步骤2中经过预处理后的图片数据作为YOLO模型的输入;

步骤4.2:得到提取后的图片数据的特征R1;

步骤4.3:将得到的特征R1映射到其语义空间中,得到图片特征向量R2=tanh(WtR1+bR1),其中,Wt为激活函数tanh的权重,bR1为激活函数tanh的偏置;

步骤4.4:将文本特征向量T2和图片特征向量R2交互,使用激活函数tanh进行转换表示补充;

步骤4.5:T2经R2补充过后得到T3,计算公式为T3=tanh(UT2T2+WrtUT2T2),UT2为隐藏文本对应的转换矩阵,Wrt为相应两模态的映射的权重矩阵;

步骤4.6:R2经T2补充过后得到R3,计算公式为R3=tanh(UR2R2+WrtUR2R2),UR2为隐藏关系对应的转换矩阵;

步骤4.7:将文本特征向量T3和图片特征向量R3进行拼接,并通过一个全连接层捕捉模态间交互特征F1,即F1=ReLU(W1(T3⊕R3)+b1),W1为激活函数ReLU的权重,b1为激活函数ReLU的偏置;

步骤4.8:将交互特征F1在激活函数Sigmoid的作用下生成条件向量S,计算公式为S=Sigmoid(F1);

步骤4.9:将条件向量S与交互后的T3结合得到文本条件向量N1,计算公式为N1=T3⊙S;

步骤4.10:将条件向量S与交互后的R3结合得到图片条件向量N2,计算公式为N2=R3⊙S;

步骤4.11:将两种模态的条件向量N1和N2进行矩阵乘法计算,得到跨模态联合矩阵O,计算公式为O=N1·N2;

步骤4.12:如果循环变量k≤单模态特征维度u,跳转到下一步,否则跳转到步骤4.15;

步骤4.13:使用Softmax函数计算出跨模态联合矩阵的概率a,计算公式为步骤4.14:k=k+1,跳转到步骤4.12;

步骤4.15:将双模态交互特征F1乘概率a,得到双模态交互注意力矩阵Bim,计算公式为Bim=a·F1;

步骤5:将双模态交互注意力矩阵Bim与被补充过的双模态特征向量拼接,将其作为全连接层的输入得到双模态特征表示,最后输入至Softmax进行分类,最终获得模型的标签抽取。

2.根据权利要求1所述的基于多模态的冷链配载用户画像标签抽取方法,其特征在于,所述步骤3具体方法为:步骤3.1:通过处理步骤2中打上标签的样本集D4,将待处理文本内容dc固定为统一长度Lmax;

步骤3.2:定义循环变量i,且i赋初值为1;

步骤3.3:如果i≤len(T)则跳转到步骤3.4,否则跳转到步骤3.7;

步骤3.4:定义len(Ti)为文本中第i个文本信息的长度,如果len(Ti)+2≤Lmax则补0后跳转下一步,否则截取文本前Lmax个单位,跳转下一步;

步骤3.5:建立预训练模型BERT,将样本集传入BERT模型中,获取文本的特征向量T1;

步骤3.6:i=i+1,跳转到步骤3.3;

步骤3.7:结束循环,输出全部特征向量序列T1={T1,T2,...,Td,…,Tlen(T)};

步骤3.8:构建长短期记忆网络,传入特征向量序列T1;

步骤3.9:定义循环变量j和最大时刻M,且j赋初值为1;

步骤3.10:如果j≤M则跳转到步骤3.11,否则跳转到步骤3.13;

步骤3.11:使用长短期记忆网络计算当前时刻的输出结果为ht;

步骤3.12:j=j+1,跳转到步骤3.10;

步骤3.13:结束循环,得到全部时刻的输出向量T2={h1,h2,...,ht,...,hM}。

3.根据权利要求1所述的基于多模态的冷链配载用户画像标签抽取方法,其特征在于,所述步骤5具体方法为:步骤5.1:将得到的双模态交互注意力矩阵Bim与被补充过的文本特征T3和被补充过的图片特征R3拼接,即C1=Bim⊕T3⊕R3;

步骤5.2:使用全连接层整合得到的双模态融合特征C1,计算公式为F2=ReLU(WRC1+u×dbR),其中,F2∈R ,F2为双模态特征表示,WR为激活函数ReLU的权重,bR为激活函数ReLU的偏置;

步骤5.3:将双模态特征表示F2输入至Softmax进行分类,得到最终分类结果C2;

步骤5.4:将分类结果C2作为最终标签抽取的结果,完成冷链配载用户画像的标签抽取。

4.一种基于多模态的冷链配载用户画像标签抽取装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1‑3任一项所述的基于多模态的冷链配载用户画像标签抽取方法。