利索能及
我要发布
收藏
专利号: 2023108094843
申请人: 西南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于上下文理解的药物粒子图像实例分割方法,其特征在于:包括如下步骤:S1.获取粒子图像的局部与全局的上下文特征信息;其中,将粒子图像划分为正常粒子图像以及微小粒子图像;获取粒子图像的局部与全局的上下文特征信息,具体包括:获取粒子图像的特征图;

捕获特征图中特征图块 内的局部上下文,得到局部上下文特征关系 具体包括如下步骤:S11.将特征图块 内的单个像素视作图节点;

S12.定义图节点之间的空间和特征依赖关系:其中, 为图节点 的依赖关系, 以及 均表示对 采用输出通道为C/2的b*b卷积操作,T为转置符号;

S13.图节点的特征表示和图节点依赖关系在交互空间中通过d维卷积Ug和Vg进行交互和扩散,以聚合图节点周围的局部上下文信息,得到聚合了局部上下文信息的图结构;其中,Ug以及Vg均为d维卷积;

S14.通过卷积W将聚合了局部上下文信息的图结构映射为特征关系其中,I为单位矩阵;

基于图像分类模型,对特征图块提取全局上下文依赖关系特征,具体包括:使用金字塔视觉transformer对每个网络层中的特征图块提取全局上下文依赖关系特征;

S2.对正常粒子图像特征以及微小粒子图像特征进行分割,得到正常粒子分割结果以及微小粒子分割结果。

2.根据权利要求1所述的基于上下文理解的药物粒子图像实例分割方法,其特征在于:利用改进的特征金字塔网络对微小粒子图像进行上下文特征提取,具体包括:在特征金字塔网络上添加一个微小卷积分支,微小卷积分支直接作用于粒子图像,采用K个L*L卷积,每个卷积操作后进行批量归一化以及ReLU激活处理,每两个卷积之间采用跳跃连接进行特征融合。

3.根据权利要求1所述的基于上下文理解的药物粒子图像实例分割方法,其特征在于:还包括:采用非对称金字塔网络对局部与全局的上下文特征信息进行加强,具体包括:将特征图Xi送入卷积进行降维操作,以空洞率r在正交维度上进行u*v和v*u的空洞卷积操作,得到每层的特征;

非对称金字塔网络中第j层的特征 可由以下公式进行计算:r

其中,f(Xi)表示将特征图Xi进行n*n的卷积操作,μ 、 分别表示空洞率为r的u*v和v*u空洞卷积, 为非对称金字塔网络中第j‑1层的特征;

当获得多层不同感受野的特征后,将多层特征用n*n卷积进行融合,以表示特征金字塔网络层i在不同感受野中的多尺度信息;特征金字塔第i个网络层的特征融合方式如下:′

其中,Ci为特征金字塔第i个网络层的特征,s为非对称金字塔网络层数。

4.根据权利要求1所述的基于上下文理解的药物粒子图像实例分割方法,其特征在于:所述步骤S2,具体包括:

构建实例分割头模块对正常粒子图像特征以及微小粒子图像特征进行分割,得到不同标签颜色的正常粒子分割结果以及微小粒子分割结果;

其中,所述实例分割头模块包括目标检测头、语义分割头以及融合模块;

所述目标检测头用于实现边界框定位和目标分类,所述语义分割头用于实现纳米粒子的语义分割,所述融合模块用于对检测到的粒子目标和语义分割进行结果融合。

5.根据权利要求4所述的基于上下文理解的药物粒子图像实例分割方法,其特征在于:所述边界框定位,具体包括:

通过逐像素计算预测边界框与真实边界框的交并比,进行边界框定位;其中,使用中心度来抑制与真实边界框的距离超过设定距离的预测框;

*

根据如下公式确定中心度centerness:* * * *

其中,l、r、t、b分别表示中心点到边界框左、上、右、下边的距离。

6.根据权利要求4所述的基于上下文理解的药物粒子图像实例分割方法,其特征在于:使用DR损失函数LDR(θ)对特征图上每个像素点进行目标分类,具体包括:首先为每个边界框生成正对象和负背景类的置信对,然后将正负样本置信度进行排序,利用排序结果实现目标分类;

其中,获取一个分类器使得损失函数LDR(θ)最小:其中,θ表示一个分类器,K表示类别数, 表示负样本的最大置信度期望, 表示正样本的最小置信度期望,γ表示间隔常数,llogistic表示折页函数,其公式为:其中,表示预测的结果,z表示正确的类别。

7.根据权利要求4所述的基于上下文理解的药物粒子图像实例分割方法,其特征在于:所述纳米粒子的语义分割,具体包括:构建语义分割的损失函数,将损失函数作为约束进行语义分割;

根据如下公式确定语义分割的损失函数Lsem_seg:Lsem_seg=αLsmall_mask+βLnormal_mask;

其中,Lsmall_mask是微小粒子的交叉熵损失函数,Lnormal_mask是正常粒子的交叉熵损失函数,α和β分别是微小粒子和正常粒子的权重,且α大于β。

8.根据权利要求4所述的基于上下文理解的药物粒子图像实例分割方法,其特征在于:对检测到的粒子目标和语义分割进行结果融合,具体包括:使用Mask‑RCNN中RoIPooler在掩码B上裁剪其对应区域掩码,并Resize到固定R×R大小的特征图,然后通过RoIAlign和Reshape将检测框P和它对应的注意力系数A调整为与特征图相同的大小,最后将不同大小的检测框掩码和对应的注意力系数相乘,获得带有不同标签颜色的实例分割掩码;

其中,通过语义分割,得到掩码B;通过边界框定位,得到检测框P;通过目标检测头的预测,得到注意力系数A。