1.一种基于残差反向瓶颈和稀疏注意力的图像分割方法,其特征在于,包括:特征编码器获取待检测的医学图像的原图,通过线性嵌入层和下采样生成不同阶段对应不同尺度的特征图;
特征解码器将不同尺度的特征图进行融合直至上采样至所述医学图像的原图大小,然后通过线性投影层处理,输出像素级别的分割预测;
其中,所述特征编码器和所述特征解码器都采用ESA模块和RIB模块逐阶段进行下采样和上采样处理,任一所述RIB模块都设置有两个并行的连接路径,分别为用于在深度卷积层中插入步进卷积或转置卷积以调整空间分辨率的直接连接路径以及用于深度特征提取和通道数调整的非直接连接路径,且各所述RIB模块的输出特征图为由该两个并行的连接路径的特征图相加后得出;
任一所述ESA模块首先将输入特征图均匀划分为至少四个不重叠的区域,然后通过计算区域间的注意力权重构建区域注意力有向图,并通过对有向图进行top‑k采样获得稀疏的区域间连接关系,最后根据该稀疏连接关系对区域特征进行有选择的聚合,得到输出特征图;
其中,所述ESA模块的处理过程包括:
假定输入的特征图为 ,算法将该特征图划分为 个无重叠的区域,其中每个区域包含 个特征向量,将 重塑为 ;其中, 为重塑前输入特征图的图像行数, 为重塑前输入特征图的图像列数, 为特征图的通道数;
通过线性投影转换 ,生成查询、键、值张量 ,得到:
其中, 分别是查询、键、值张量的投影权重;
构建一个有向图来确定区域间的关注关系,先在区域级对 和 进行平均,得到区域级的查询和键,表示为 ;然后,通过对 和转置的 进行矩阵乘法,得到区域到区域亲和图的邻接矩阵 ,如下:
;
通过保留每个区域的前 个连接来修剪亲和图,并通过对 进行行方向的 top‑ 操作得到一个路由索引矩阵 ,即:;
其中,路由索引矩阵 的第 行包含了对第 个区域最相关的 个区域的索引, 是一个预先设定的超参数;
对于区域 中的每个查询令牌,关注所有位于由 索引
的 个路由区域的并集中的键值对以对索引进行gather操作,即:其中, 是收集的键和值张量;
对于每个区域,计算查询张量 中该区域的所有patch与收集到的键值对 的注意力权重,然后用这些注意力权重对收集到的值 进行加权求和,得到该区域的输出特征。
2.根据权利要求1所述的方法,其特征在于,在所述RIB模块的直接连接路径中,插入步进卷积或转置卷积的深度卷积层采用步进为2的1×1卷积层。
3.根据权利要求1所述的方法,其特征在于,在所述RIB模块的非直接连接路径中,输入特征图首先通过一个步进为2的3 × 3深度卷积层,然后进行归一化处理;接着,特征图通过一个1×1的卷积层进行通道数的压缩或扩张;然后,特征图经过一个非线性激活函数进行非线性变换;最后,特征图通过另一个1×1的卷积层进行通道数的压缩或扩张。
4.一种基于残差反向瓶颈和稀疏注意力的图像分割系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至3任一所述方法。