1.一种基于深度学习的乳腺癌预后预测的多模态融合方法，其特征在于，包括以下步骤：步骤1，对乳腺癌患者的病理图像进行预处理：读取患者的全切片病理图像WSI，使用otsu阈值法检测组织区域与背景；针对不同全切片病理图像WSI之间存在的旋转、缩放或平移误差，通过预对齐模块进行对齐；对对齐后的全切片病理图像WSI进行处理，创造二进制掩膜标记组织区域，在最高分辨率下生成256×256的无重叠组织图像块；接着利用分层提取的方法对图像块进行特征提取；

步骤2，对患者的医学影像图像DCE‑MRI进行预处理，对患者的医学影像图像DCE‑MRI进行重采样至1毫米等体素分辨率，再对患者的医学影像图像DCE‑MRI沿Z轴随机裁剪4个大小为48×48×3的子体积；针对患者的医学影像图像DCE‑MRI，采用基于刚性或非刚性配准的方法进行预对齐，利用互信息MI作为相似性度量构造配准优化问题，求得最佳变换矩阵TMRI：，

其中， 为参考MRI图像， 为待配准的MRI图像， 表示将 经仿射变换矩阵T1后得到的图像， 表示互信息；

步骤3，针对不同模态的一致性，使用双流注意力模态融合，所述双流注意力模态融合包括编码器I和编码器P；

所述编码器I和编码器P均包括区域融合模块，所述区域融合模块包括窗口多头自注意力机制和移位窗口策略；

全切片病理图像WSI通过改进的区域融合模块处理特征向量序列，医学影像图像DCE‑MRI通过区域融合模块处理原始图像子图；

所述编码器P中的区域融合模块还包含块合并，所述块合并沿深度维度对相邻图像小块进行两次分组，然后编码器P将逐渐降低输入的分辨率，从而对影像模态内多区域特征进行融合；

采用自注意力池化机制捕捉编码器I处理后输出的跨模态的病理特征与编码器P处理后输出的影像特征并融合跨模态特征：将编码器I处理后输出的全切片病理图像WSI的2D特征和编码器P处理后输出的医学影像图像DCE‑MRI的3D特征投影到相同的维度，计算病理和影像的交互权重；

步骤4，进行预后预测；

步骤5，进行可视化解释，通过计算综合梯度生成注意力热图，映射至原始全切片病理图像WSI上，在医学影像图像DCE‑MRI上生成影像组学特征表达热图，实现形态学属性的多尺度可视化。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：所述预对齐模块利用特征匹配方法构建如下仿射变换矩阵T1：，

其中通过最小化重叠区域特征距离获得参数a,b,tx,ty，a为图像的缩放比例，b为图像的剪切程度，tx为图像在像素坐标X轴上的移动量，ty为图像在像素坐标Y轴上的移动量。

3.根据权利要求2所述的方法，其特征在于，步骤1还包括：通过自监督学习，利用自监督特征提取器HIPT提取每个图像块的192维特征向量，将输入的256×256的图像块细分成

16×16的图像块，提取细胞级的精细特征 ，对256×256图像块提取组织级的特征；

把相邻的256×256的图像小块聚合为的2048×2048的图像小块，然后分层提取宏观尺度的特征 ；

最后进行层次化表征聚合得到全切片病理图像WSI的特征 ：，

其中， 表示全切片病理图像WSI处于细胞级且序列长度为256，i表示16×16的图像块的序号；j表示256×256的图像块的序号；k表示2048×2048的图像块的序号； 表示输出的特征；N表示全切片病理图像WSI中2048×2048图像块的数量；

针对不同患者和不同全切片病理图像WSI的图像块存在的尺寸差异，通过动态填充技术将批次内所有图像统一调整为最大片段尺寸；

在每一层特征提取后引入多尺度注意力机制，对于给定特征图F，多尺度注意力 计算公式为：，

其中 为不同分辨率下的特征表示， 为可学习的权重， 为标准注意力计算模块。

4.根据权利要求3所述的方法，其特征在于，步骤2包括：所述重采样的公式为：，

其中， 表示重采样后生成的高分辨率影像， 为低分辨率影像， 为重采样操作函数， 为扩散噪声估计函数， 为步长因子， 表示对扩散噪声估计函数关于图像的梯度，为噪声补偿项。

5.根据权利要求4所述的方法，其特征在于，步骤3中，所述窗口多头自注意力机制通过并行计算窗口区域内预处理后各图像块间的相互重要性权重；

所述移位窗口策略用于将窗口焦点沿像素坐标X、Y方向移动M/2个像素，M表示各方向图像块数；

所述块合并用于逐步缩减特征图空间维度，合并两个以上图像块后通过拼接或线性变换提升特征维度。

6.根据权利要求5所述的方法，其特征在于，步骤3中，所述编码器I采用2×2大小的二维滑窗捕捉局部信息，采用窗口多头自注意力机制捕捉病理模态的全局信息；

所述编码器P采用4×4×4大小的三维滑窗捕捉局部信息，采用多头自注意力机制捕捉影像模态的全局信息；

处理全切片病理图像WSI时，利用改进的2D滑窗与局部窗口多头自注意力机制进行局部和全局信息的融合，输入预处理后得到的图像块，先对每个图像块进行窗口划分，再通过局部窗口多头自注意力机制提取局部特征，同时利用移位窗口策略解决跨窗口交互，从而间接增强全局信息传播，计算公式为：，

其中，为位置i处的最终输出特征， 为位置i处的输入特征，i为输入特征所在的病理图像块的位置索引， 为层归一化，LocalMSA为局部窗口多头自注意力模块，在局部窗口内计算注意力分布，Conv是卷积操作；

针对影像图像的子体积，使用编码器P，采用3D滑窗划分，利用3D窗口多头自注意力模块对局部和全局信息进行融合，引入块合并，对相邻小块沿深度方向分组，并重复合并过程以逐步降低分辨率，实现多区域信息整合。

7.根据权利要求6所述的方法，其特征在于，步骤3中，使用自注意力池化的方式融合编码器I和编码器P输出的特征，编码器I输出的病理特征为 ，编码器P输出的影像特征为 ，其中 是实数空间，N和M分别为编码器I的token数量和编码器P的token数量，d为特征维度；首先将输出的特征进行拼接，采用如下公式得到拼接后的特征 ：，

接着，通过可学习的线性变换映射到查询Q，键K和值V：， ， ，

其中， 是可学习的线性变换矩阵， 为偏置项， 为投影后的维度；

为捕捉不同模态间的局部交互与多尺度信息，在标准缩放点积注意力中引入两项附加项，分别是位置偏置项 和多尺度权重调整 ；

计算位置（i，j）处的偏置项 ：

，

其中， 分别为第i个token的位置信息和第j个token的位置信息， 是一个参数矩阵；

计算位置（i，j）处的多尺度权重调整 ：

，

其中，G表示尺度的数量， 和 分别表示第i个token在尺度g下的特征向量和第j个token在尺度g下的特征向量， 表示元素级乘法， 是尺度g下的可学习权重， 是尺度g的重要性权重；

注意力矩阵 的计算公式为：

，

其中，T表示转置符号；

计算得到融合后的输出 ：

。

8.根据权利要求7所述的方法，其特征在于，步骤4中，构建Cox部分负对数似然损失函数，输出生存风险评分，Cox部分负对数似然损失函数 表示为：，

其中，C是所有事件发生的样本集合；Rh是风险集；β是模型参数；xh是第h个患者样本的特征向量；xj是第j个患者样本的特征向量；exp是自然指数函数。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。

10.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令在计算机上运行时，执行如权利要求1至8中任一项所述的方法的步骤。