1.一种基于多模态数据融合的大型工程装备设计意图提取方法,其特征在于:其包括如下步骤:S1.获取历史工程项目设计资源,将项目设计资源进行分类形成多模态资源,多模态资源包括三维Mesh总体模型、三维Mesh部件模型、部件清单、二维图纸和复杂环境信息;
S2.对于三维Mesh总体模型、三维Mesh部件模型、二维图纸和复杂环境信息,通过基于卷积神经网络和编码器的多支路单模态特征提取网络分别提取总体模型特征向量、部件模型特征向量、图像特征向量和环境特征向量;
S3.将部件模型特征向量与部件清单中的位置编码进行拼接,通过基于自注意力机制的单模态特征融合网络融合部件模型特征向量得到部件融合特征向量,具体步骤为:S3.1.将部件清单构建成维度为N的数组,N为部件清单中部件的总数;
S3.2.按照部件清单的顺序,将各部件模型特征向量与部件清单中的位置编码拼接,得到调整后的部件模型特征向量;
S3.3.将调整后的部件模型特征向量组合成一个矩阵作为Transformer模型的输入,Transformer模型通过其自注意力机制和多头注意力策略,捕获部件间的复杂关系和相互依赖,输出一个综合了所有部件模型特征的部件融合特征向量;
S4.通过基于Transformer结构的多模态特征融合网络将总体模型特征向量、部件融合特征向量、图像特征向量和环境特征向量进行特征融合,得到工程项目的设计意图特征向量;
S5.基于所有历史工程项目的设计意图特征向量,通过谱聚类设计意图提取网络得到基于设计意图的历史工程项目群簇,并得到每个群簇的设计意图中心。
2.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法,其特征在于:所述S2对于三维Mesh总体模型、三维Mesh部件模型和二维图纸,通过基于卷积神经网络和编码器的多支路单模态特征提取网络分别提取总体模型特征向量、部件模型特征向量和图像特征向量的具体步骤为:S2.1.采用MeshNet提取三维Mesh总体模型的总体模型特征向量和三维Mesh部件模型的部件模型特征向量;采用VggNet提取二维图纸的图像特征向量;
S2.2.采用多层堆叠的Transformer编码器结构分别学习总体模型特征向量、部件模型特征向量、图像特征向量内的关联信息,并更新总体模型特征向量、部件模型特征向量、图像特征向量。
3.根据权利要求2所述的基于多模态数据融合的大型工程装备设计意图提取方法,其特征在于:所述S2.2中每层Transformer编码器均包括自注意力层和前馈网络,所述的自注意力层包括全连接层和经过归一化处理的点乘注意力机制;
所述S2.2学习各特征向量的关联信息并更新各特征向量的具体步骤为:S2.2.1.通过全连接层对输入的特征向量进行线性变换,得到三种不同类型的子向量,即查询向量Q、键向量K以及值向量V;
S2.2.2.计算查询向量和键向量之间的乘积,对乘积结果进行缩放,再应用注意力掩码,进一步使Softmax函数进行归一化处理,生成一个注意力权重矩阵;
S2.2.3.将注意力权重矩阵与值向量相乘,对输入的特征向量进行更新,计算公式为: (1),
公式中, Attentionscaled为归一化点乘注意力机制,Q、K、V分别表示查询向量、键向量'和值向量,X 为经注意力机制更新后的特征向量,d为特征向量的维度, Softmax表示Softmax函数,T表示矩阵转置;
S2.2.4.前馈网络对于经注意力机制更新后的特征向量进行非线性变换,进而更新重要组成部分,前馈网络的操作的计算公式为: (2),
''
公式中,W1、W2、b1和b2分别为前馈网络中的可学习参数,X 代表前馈网络处理后得到的'输出特征向量,max(0,XW1+b1)表示ReLU激活函数的计算方式。
4.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法,其特征在于:所述S2对于复杂环境信息,采用One‑Hot编码策略处理设计需求涉及的复杂环境信息,One‑Hot编码策略的计算公式为: (3),
公式中,Fn为经One‑Hot编码后得到的特征向量,p为前序编码,a为后续编码,OneHot为One‑Hot编码操作。
5.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法,其特征在于:所述S4将总体模型特征向量、部件融合特征向量、图像特征向量和环境特征向量进行特征融合的融合公式为: (4),
公式中,M表示多模态特征融合网络中特征融合模块层数,Attentionscaled为归一化点乘注意力机制,VM代表在第M层特征融合模块中产生的输出特征向量,VM‑1是第M‑1层输出结果,FM是送入第M层特征融合模块的输入向量,d为每个特征向量的维数,T表示矩阵转置。
6.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法,其特征在于:所述S5通过谱聚类设计意图提取网络得到基于设计意图的历史工程项目群簇,并得到每个群簇的设计意图中心的具体步骤为:S5.1.计算设计意图特征向量的余弦相似度,并构建相似度矩阵,余弦相似度的计算公式为: (5),
公式中,β为相似度,A和B分别表示两个设计意图特征向量的描述符向量,n是向量的维度,i代表迭代值;
S5.2.基于构建的相似度矩阵,进一步构建拉普拉斯矩阵;
S5.3.对拉普拉斯矩阵进行特征分解,计算其特征值和相应的特征向量,选取与最小的k个特征值相对应的特征向量,k为聚类类别数目,将这些特征向量整合成一个新矩阵;
S5.4.应用K‑means聚类算法对新矩阵进行聚类,得到历史工程项目群簇划分结果以及设计意图中心。