1.基于深度学习的数据库报警多模态关系提取方法，其特征在于，包括以下步骤：步骤1，进行文本编码；

步骤2，从图像中提取与数据库告警相关的实体特征信息；

步骤3，建立双向融合注意网络，用于捕捉多模态数据库告警；

步骤4，进行多模态关系分类；

步骤1包括：在句子编码器中，通过BERT 模型，将输入的Oracle文本句子 {w1， w2， … wt} 生成一个特征向量矩阵V，表达式为：，

其中 t是序列长度，wt是输入的Oracle文本句子中第t个词，矩阵V代表了从文本数据中提取的特征向量的集合，每一行代表一个cls标签或序列中的一个单词转换成的特征向量，每个向量长度为768维；clst表示第t个句子起始标签，seqt表示第t个句子结束标签，Vt*768表示第t行第768列元素，输入的每个句子都通过 BERT 模型转换成一个特征向量矩阵；

步骤2包括：在图像编码器中，使用基于视觉知识检索器的数据库告警标识符来识别图像中的数据库告警实体信息：给定包含数据库告警实体a的图像，得到对应的实体特征表示fa和图像中包含的第i个其他数据库告警实体特征表示fi，定义为：（1），

（2），

其中 ga表示要裁剪的图像区域的几何参数， ba代表裁剪边界或基准区域；gi表示一个候选区域的边界框坐标，bi代表一个与边界框坐标 gi相关的区域；crop(ge， be)表示从几何参数 ge 裁剪到边界框并调整大小为 160 × 160 像素的图像，参数e ∈ {a， i}， 表示全连接网络；

步骤2还包括：在图像编码器中，添加一个全连接层和一个批量归一化层来获取两个数据库告警实体的最终特征：向量ha和向量 hi用于分别代替实体特征表示 fa和 fi来表示数据库告警设备实体的最终特征：（3），

（4），

其中 BatchNorm表示批归一化，W2和 W3是可训练矩阵；b2 和 b3 是可训练参数；

最后，对实体特征表示ha和向量hi使用 L2 归一化并将其连接起来，得到数据库告警实体特征的最终向量 ：（5），

其中L2Norm是L2范数； [;] 表示两个向量的连接；

步骤3包括：将数据库告警实体的特征向量按时间顺序传递到双向融合注意网络中：数据库告警实体对(m， n)中，数据库告警实体m的特征向量包括文本编码器输入Xmt 和图像编码器输入Xmg，数据库告警实体n的特征向量包括文本编码器输入Xnt 和图像编码器输入Xng，表达式为：（6），

（7），

（8），

（9），

其中，hm表示数据库告警实体m 的图像编码器输入Xmg处理后的特征向量，Fmi表示数据库告警实体m 的图像编码器输入Xmg的第i个特征向量；i表示输入的信息数量；

hn表示数据库告警实体n 的图像编码器输入Xng处理后的特征向量，Fni表示数据库告警实体n 的图像编码器输入Xng的第i个特征向量；

步骤3还包括：所述双向融合注意力网络包括模态表示 和多模态数据库告警上下文 ，其中索引k用于表示{mt， mg，nt，ng}，mt表示数据库告警实体m的文本t，mg表示数据库告警实体m的图像g，nt表示数据库告警实体n的文本t，ng表示数据库告警实体n的图像g；Nx表示模态表示的数量；Ny表示多模态数据库告警上下文的数量；Xi表示输入消息，Yi表示输出消息；

卷积运算用于将输入消息Xi转换为Xj|i：

（10），

其中，Xj|i代表从大的特征集中筛选出来的一个子集；Conv是卷积操作，sigmoid为激活函数；kerneli表示输入消息Xi的卷积核；biasi是偏差值；

隐式多模态交互空间bij采用如下公式进行动态更新，其中隐式多模态交互空间bij的初始值为0，告警上下文的初始值为随机值：（11），

然后，进行Ny次迭代以动态提取多种模态之间的多模态数据库告警上下文，在每次迭代中，动态自顶向下系数C用于解释A和B之间的自顶向下信息流，表示为：（12），

其中，cij表示在给定条件下第 i 个元素相对于第 j 个元素的重要性或选择概率，bij表示隐式多模态交互空间的向量； 表示一个由 softmax 函数处理后得到的系列权重值；exp是自然指数函数；

softmax是激活函数的一种，用于确保所有注意力权重的和为1，自顶向下过程采用静态自注意力机制，表示为：（13），

（14），

其中 代表对应输入向量 的第1，2...到Nx维的向量；X是与 不同空间的输入向量；atten是自顶向下多模态数据库告警上下文；concat指连接操作；Wq、Wk和Wv是转换矩阵，T表示矩阵转置；

步骤3中，自顶向下显式多模态数据库告警上下文atten进一步传输到动态多模态路由过程，通过双向动态系数 (cij + atten)允许在每次迭代中同时捕获隐式和显式多模态交互，通过动态迭代动态更新多模态数据库告警上下文Yj，表示为：（15），

其中每一个告警上下文Yj都有i个输入，Xj|i代表对应告警上下文Yj的第i个输入；

步骤4包括：在双向融合注意网络处理后，应用卷积计算操作，进一步聚合输出的多模态数据库警报上下文特征：（16），

其中， 表示第 p 组数据经过卷积操作和sigmoid激活函数处理后的输出；

softmax分类器用于预测文本中实体对的关系，并输出p(re|m，n)：（17），

（18），

其中，contact是串联函数，O是通过连接操作得到的一个综合特征向量或特征映射，relu是激活函数的一种；w和b分别表示完全连接层的参数和偏差项，p(re|m，n)表示最终输出的概率分布。