1.基于卷积稀疏编码和最优传输的多模态数据整合方法,其特征在于:包括以下步骤:
1)获取多模态训练数据,包括磁共振成像、计算机断层扫描和生物标记物数据;具体为:用户从本地选择训练所用的多模态数据集,读取两个数据集Data X和Data Y以及相关的元数据信息;并且随机采样数据,包括样本的随机采样、使用主成分分析特征降维以及对标签进行处理;然后数据预处理,包括对数据的标准化和缺失值处理,得到两个模态的输入特征Modality X和Modality Y;
2)构建模型:使用CSC层分别学习两个模态的潜在表示,捕捉多模态数据内部关键结构和特征,经过CSC的内部迭代更新,将输出结果传入前馈神经网络后,再输入到全连接层以得到均值和方差;基于此进行分布采样,并利用高斯噪声模拟采样效果,得到两个相似的潜在空间,通过相关矩阵对齐两个多模态潜在空间;在对齐点处对两个潜在空间线性组合,得到聚合的潜在空间;在学习潜在空间时,使用最优传输使得生成潜在空间分布逼近标准正态分布,以此构建出基于CSC和最优传输理论的聚合方法;通过不断迭代学习,当损失函数的值收敛到最小时,保存该模型;
3)根据聚合的信息进行分类:载入已经训练好的模型,并训练K最近邻分类器,用于对测试数据分类,检测模型效果,用户根据自己的数据特性,调节网络参数,以达到最佳检测效果;
其中,步骤2)中模型的构建具体包括:
2.1)使用CSC层进行特征提取:
n n×m m
给定信号X∈R和字典D∈R ,m≥n,寻找一个稀疏向量α∈R,使得X以Dα的形式进行近似,并且α的非零元素个数尽可能少,即信号X表示成X=Dα这样的线性组合或||X‑Dα||2≤ε;在给定信号X,ε和D的情况下,解决NP‑hard问题:其中,||α||0是l0范数,ε为任意小的正数;
而对于上式||α||0,用||α||1代替,形成了一个凸优化问题,||α||1即l1范数;把l0范数松弛为l1范数,进而得到以下目标函数:其中,λ为稀疏性参数,λ||α||1为稀疏性约束,
使用FISTA算法来解决优化目标;FISTA算法包含两个关键步骤:首先,在前两步的计算方向上计算一个新的点,然后在该新的点处进行一步近似点梯度迭代,即k k‑1其中,k表示FISTA算法第k次迭代,x为算法第k次迭代的结果,x 为算法第k‑1次迭代k‑2 k的结果,x 为算法第k‑2次迭代的结果,y表示算法第k‑1次的迭代结果与第k‑2次迭代结果的加权;tk表示算法迭代的步长, 表示求导运算;令目标函数中的正则项部分为:h(α)=λ||α||1, 表示h函数的proximal操作,即函数h的临近算子;
通过对上述目标函数在正向传播里更新α,在反向传播里更新D;经过CSC的内部迭代更新,将最后输出结果传入FFN中;
2.2)经过CSC层和FFN处理后得到的特征矩阵被输入到全连接神经网络;将强制使得输入数据编码成潜在变量的均值和方差来捕捉数据的潜在结构,这些均值和方差形成了一个潜在分布,假设为多元正态分布;生成新样本的过程涉及从这个分布中采样;
通过引入高斯噪声,在训练过程中模拟采样的效果,而无需直接反向传播采样过程中的不确定性;具体的,从均值和方差确定的正态分布中抽取一个随机样本,确保生成的样本在潜在空间中具有一定的随机性,使得编码器生成多样化的输出;由此步骤得到两个模态的潜在空间LX,LY;
2.3)基于两个模态之间先验的相关矩阵或借助不同模态内部数据距离应该远近一致得到的相关矩阵对不同模态潜在空间进行线性聚合,以实现对齐点处融合不同模态的潜在空间,凝聚两个模态的信息,分别得到基于聚合的潜在空间CX,CY;
2.4)通过定义最优传输损失、对齐损失和保持损失,利用构建好的模型对预处理好的数据进行训练,通过多次迭代学习,使损失函数收敛到最小,保存最佳的模型参数。
2.根据权利要求1所述的基于卷积稀疏编码和最优传输的多模态数据整合方法,其特征在于:步骤2.4)中具体包括:
2.4.1)设置模型的参数,包括隐变量维度、PCA降维的维度、训练迭代次数;
2.4.2)计算损失:损失由以下部分组成:
其中, 为最优传输损失,LA为对齐损失,LM为保持损失。
3.根据权利要求2所述的基于卷积稀疏编码和最优传输的多模态数据整合方法,其特征在于:步骤2.4.2)中损失计算具体包括:
2.4.2.1)最优传输损失:
最优传输理论的核心是Wasserstein距离,Wasserstein距离考虑了将一个概率分布转移到另一个概率分布所需的最小代价,则最优传输损失可以表示为:其中, 为最优传输损失;p代表范数,||.||代表向量模长, 代表ξ和ζ′的所有联合分布的集合,潜在变量ξ服从边缘分布 变量ζ′服从边缘分布Q,表示为Qζ′;
2.4.2.2)为了使聚合后的潜在空间相应样本在不同模态之间有相似的语义信息,即优化时往相同的方向驱动,使用对齐损失:其中,CX,CY分别表示X模态和Y模态的聚合的潜在空间,A表示代表先验的相关性矩阵或通过不同模态内部数据距离应该远近一致的方法得到的相关矩阵;g为超参,即规定的潜在空间的维度;nX为X模态的样本个数; 表示Frobenius范数的l2范数;
2.4.2.3)为了使聚合的潜在空间保持原潜在空间的重要结构,使用保持损失:其中,LX,LY表示X模态和Y模态的潜在空间,nY为Y模态的样本个数;
最后通过不断迭代学习,当损失函数的值收敛到最小时,保存该模型。