1.一种基于跨模态对齐融合的RGB‑D语义分割方法，其特征在于，构建基于跨模态对齐融合的语义分割网络CCFN，使用两个并行骨干网络从RGB模态和深度模态输入中提取特征，设计一个特征校正融合模块FCFM来校正融合RGB模态和深度模态的特征，特征校正融合模块FCFM架设在两个相邻的骨干阶段之间，之后，两个校正融合后的特征参与最终的语义预测；所述特征校正融合模块FCFM包括特征矫正模块FCM和特征融合模块FFM两个部分；其中特征矫正模块FCM负责矫正RGB模态与深度模态之间对应特征像素位置和过滤模态中的噪声信息，特征融合模块FFM将属于同一层次的两个模块特征融合成为一个单一的特征图，然后利用解码器将不同层次的融合特征映射转换为最终的语义映射；

所述特征矫正模块FCM具体实现如下：

（1）语义流特征矫正

基于语义流的概念提出一种基于跨模态语义流的矫正模块，实现RGB模态和深度模态之间对应特征像素位置的准确对齐，设计一种二路对齐的语义流指导子网络，即双路语义流矫正模块DFCM，其是在特征对齐模块FCM内构建的，双路语义流矫正模块DFCM中输入为二路骨干网络每一阶段输出的RGB特征图与HHA特征图，对于给定的两个具有相同通道数相同尺寸的特征图 和 ，将二者沿着通道方向拼接在一起，并将拼接后的特征图作为子网络的输入，该子网络分为两路，分别包含一个卷积核大小为3×3的卷积层，子网络的输出是语义流场预测；

（2）通道空间特征矫正

引入一种通道空间特征矫正，学习全局矫正的通道间编码信息和空间坐标信息，通道空间注意力机制采用协调注意力模块，该模块利用坐标信息在通道注意力机制的基础上增加一种新的坐标注意力机制，协调注意力模块同时学习全局校正的全局权值和空间局部校正的局部权值，在通道和空间两个维度，实现RGB模态与深度模态的特征矫正；

协调注意力模块具体操作分为信息嵌入和权值图生成2个步骤，经过语义流特征矫正后的RGB特征图 和HHA特征图 沿着通道方向拼接后嵌入至协调注意力模块中生成对应的权值图；

所述特征融合模块FFM具体实现方式如下：

通过通道空间注意力机制控制每个模态特征图的信息流，重新加权RGB模态与深度模态中的特征信息，使二者表现出互补的特征信息，首先沿着通道方向拼接了两个矫正分支的输出 和 ，将这个连接的特征分别输入到两个对称的协调注意力模块子路径生成对应的信息流权重图 和 ，再把两个权值图分别映射回矫正分支的输出生成重分配特征图。

2.根据权利要求1所述的一种基于跨模态对齐融合的RGB‑D语义分割方法，其特征在于，所述骨干网络使用ResNet系列。

3.根据权利要求1所述的一种基于跨模态对齐融合的RGB‑D语义分割方法，其特征在于，所述解码器采用对齐特征金字塔解码器，对齐特征金字塔解码器从编码器的各个阶段提取特征图，然后用对齐特征金字塔来完成场景解析；具体来说，对齐特征金字塔是用流对齐模块代替了特征金字塔自顶向下路径中的双线性上采样而生成的，高层特征映射通过逐元素加法对齐并逐步融合到低层中，对于语义分割任务，对齐特征金字塔解码器还将所有特征上采样到相同的分辨率即输入图像的1/4，并沿着通道维度拼接在一起进行预测，对齐特征金字塔解码器还使用流对齐模块替换上采样操作。

4.根据权利要求1所述的一种基于跨模态对齐融合的RGB‑D语义分割方法，其特征在于，对于深度模态分支的输入，使用深度图像的HHA编码方法，把深度图像转换成三个通道，第一通道为左右视差、第二通道为地面高度、第三通道为表面法线与重力方向的夹角。

5.根据权利要求1所述的一种基于跨模态对齐融合的RGB‑D语义分割方法，其特征在于，所述特征矫正模块FCM的语义流特征矫正中，由于RGB路径操作与深度路径操作一致，采用RGB路径进行说明，在数学上，RGB路径操作整体过程由式（1）表示：式中， 代表RGB子网络语义流场的预测结果， 表示沿着通道

方向的拼接操作，而 是卷积核大小为3×3的卷积层；深度路径操作中 计算方式类似；

在计算 和 之后，对于RGB路径，将空间网格上的每个位置 通过加法运算映射为点 ，由于待扭曲的特征 与流场之间不存在分辨率差距，因此 由式（2）表示：式中， 代表 加上位移 后代表的位置；深度路径操作中计算方式同

RGB路径操作类似；

所述特征矫正模块FCM的通道空间特征矫正中协调注意力模块具体操作如下：

1）信息嵌入

对于给定的输入使用不同的两种池化内核(H,1)和(1,W)，其中H和 W分别表示输入的特征图的高度和宽度，池化内核(H,1)对输入在垂直轴上的编码进行处理，池化内核(1,W)对输入在水平轴上的编码进行处理，第 个通道在高度 处的输出 由式（3）表示：同样，宽度为 的第 个通道的输出 由式（4）表示：

上述两个变换的作用是，把特征沿着不同的方向集中起来，得到一对能够认知方位的特征图 和 ；

2）权值图生成

对于信息嵌入所生成的聚合特征图，首先沿空间维度拼接它们，再将其嵌入到一个共享的1×1卷积变换函数 中，上述过程由式（5）表示：式中， 表示沿空间维度的拼接操作， 为非线性激活函数ReLu函数，是一个中间特征图，它把水平和垂直方向上的空间信息编码进去，其中，是一个缩减因子，它决定 在SE块中的压缩程度；

沿着空间维度将 分成两个独立的张量 和 ，最后再通过两个1

×1卷积变换函数 和 转变为具有相同通道数的张量，上述过程由式（6）和式（7）表示：式中，是Sigmoid型激活函数；

将输出的 和 分别展开并用作注意力权重，最后，CBA在第 个通道高度为 宽度为处的输出 由式（8）表示：通过将经过语义流特征矫正后的 和 沿着通道方向拼接后嵌入到

两个对称的协调注意力模块分支中，得到对应的RGB模态矫正权重图和深度模态矫正权值图，然后再将权重图映射回 和 得到输出，采用RGB路径进行说明，上述过程由式（9）和式（10）表示：式中，为协调注意力模块生成权重图的过程函数， 、 为生成的RGB模态矫正权重图， 为矫正后的RGB特征；深度路径操作中计算方式同RGB路径操作类似；

为进一步加强RGB模态和深度模态的交叉作用，设计交叉矫正作为最后的矫正过程，RGB模态和深度模态两种模式的具体矫正流程由式（11）和式（12）表示：式中， 和 分別是二路骨干网络每一阶段输出的RGB特征图与HHA特征图，为矫正后的深度特征， 和 是经过综合校准后已校正的特征，将送到下一阶段进行特征融合。

6.根据权利要求5所述的一种基于跨模态对齐融合的RGB‑D语义分割方法，其特征在于，所述特征融合模块FFM的实现过程由式（13）和式（14）表示：式中， 为 被 重新加权后生成的重分配特征图；

最后在将重分配特征图按一定比例加权为一个融合特征 ，上述过程由式（15）表示：式中， 和 是两个超参数；

对于下一阶段两个对称主干网络的输入，将经过语义流矫正后的 和

分别与 加和生成下一阶段的输入，上述操作由式（16）和式（17）表示：式中， 和 分別是 和 经过特征校正融合模块FCFM对齐矫正后

的RGB特征图和HHA特征图；

改进后的结果将传播到编码器的下一层，使编码器更准确和有效地发掘这RGB模态与深度模态的特征信息。