利索能及
我要发布
收藏
专利号: 2021107846196
申请人: 广西科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-09-26
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种学习生物视觉通路的轮廓检测方法,其特征在于包括以下步骤:A、构建深度神经网络结构,深度神经网络结构具体如下:编码网络、解码网络、前馈融合模块;其中,编码网络为VGG16与FENet相结合的网络结构;

VGG16网络以池化层为分界线,分为S1、S2、S3、S4、S5阶段;

FENet包括四个子网络:单拮抗特征子网络、双拮抗特征子网络、V1输出子网络、V2输出子网络;

B、原始图像输入VGG16网络中,依次经S1、S2、S3、S4、S5阶段卷积处理,分别获得输出结果S1、S2、S3、S4、S5,其中输出结果S1送入解码网络;

原始图像经过公式1处理,得到R‑G,G‑R,B‑Y,Y‑B四种输入;

SOi=Cm‑ωCn   (1)其中,i表示R‑G,G‑R,B‑Y,Y‑B;m和n都代表R、G、B、Y分量;ω为系数,取值为0.7;

将R‑G,G‑R,B‑Y,Y‑B输入单拮抗特征子网络处理,获得输出结果a,输出结果a与输出结果S2相加融合后,得到融合结果a,输入解码网络;

将R‑G,G‑R,B‑Y,Y‑B输入双拮抗特征子网络处理,获得输出结果b,输出结果b与输出结果S3相加融合后,得到融合结果b,输入解码网络;

原始图像经过SCO算法得到V1区的边缘响应,输入V1输出子网络处理,获得输出结果c,输出结果c与输出结果S4相加融合后,得到融合结果c,输入解码网络;

原始图像经过SED算法得到V2区的边缘响应,输入V2输出子网络处理,获得输出结果d,输出结果d与输出结果S5相加融合后,得到融合结果d,输入解码网络;

C、将输出结果a、输出结果b分别输入前馈融合模块中;

输出结果S1、融合结果a、融合结果b、融合结果c、融合结果d经解码网络处理后,获得解码输出结果,输入前馈融合模块中,并计算其损失;

D、在前馈融合模块中,输出结果a、输出结果b分别经过1x1‑1卷积层后,经上采样恢复到原始分辨率,并计算其损失,最后乘以权重,获得的结果与解码输出结果相加融合后获得最终输出轮廓,并计算其损失。

2.如权利要求1所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的各步骤涉及的卷积表达式为m*n‑k conv+ReLU,其中,m*n表示卷积核的大小,k表示输出通道数,conv表示卷积,ReLU表示激活函数;m*n、k均为预设值;所述的最终融合层的卷积表达式为m*n‑k conv。

3.如权利要求1所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的VGG16网络由原始VGG16网络经过如下结构调整获得:去掉S4和S5之间的池化层,同时把S5的三个卷积层依次改为空洞率为2、4、8的空洞卷积层。

4.如权利要求1所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的单拮抗特征子网络包括:R‑G、G‑R、B‑Y、Y‑B四组单拮抗卷积处理阶段,SEM多尺度增强模块,3×3‑128卷积层;

R‑G,G‑R,B‑Y,Y‑B单拮抗卷积处理阶段相同,分别依次经过3×3‑3卷积层、3×3‑64卷积层、最大池化层、3×3‑128卷积层;

单拮抗特征子网络处理过程如下:

将R‑G,G‑R单拮抗卷积处理阶段处理后的特征相加融合,经过多尺度增强模块处理,获得单拮抗增强结果a;将B‑Y,Y‑B单拮抗卷积处理阶段处理后的特征相加融合,经过多尺度增强模块处理,获得单拮抗增强结果b;

将单拮抗增强结果a与单拮抗增强结果b拼接,然后通过3×3‑128卷积层来匹配通道数后得到融合结果a。

5.如权利要求1所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的双拮抗特征子网络包括:R‑G,G‑R,B‑Y、Y‑B双拮抗卷积处理阶段,SEM多尺度增强模块,1×1‑256卷积层;

R‑G,G‑R,B‑Y、Y‑B双拮抗卷积处理阶段相同,每个阶段的输入分成两路,每个阶段中的两路分别依次经过9×9‑3卷积层、9×9‑64卷积层、2×2最大池化层、9×9‑128卷积层、2×2最大池化层、9×9‑256卷积层,乘以sigmoid函数归一化的可训练权重后,相减,分别获得R‑G,G‑R,B‑Y、Y‑B双拮抗卷积处理结果;

将R‑G,G‑R双拮抗卷积处理结果相加融合后,通过SEM多尺度增强模块处理,获得双拮抗增强结果a;将B‑Y、Y‑B双拮抗卷积处理结果相加融合后,通过SEM多尺度增强模块处理,获得双拮抗增强结果b;

将双拮抗增强结果a与双拮抗增强结果b拼接,然后通过1×1‑256卷积层来匹配通道数后得到融合结果b。

6.如权利要求1所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的V1输出子网络包括依次连接的三组2×2最大池层、SEM多尺度增强模块、3×3‑

512卷积层;

V1区的边缘响应在V1输出子网络中经过三次2×2最大池化,然后经过SEM多尺度增强模块提取多尺度特征,最后经过3×3‑512卷积层匹配通道数,得到融合结果c。

7.如权利要求1所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的V2输出子网络包括依次连接的三组2×2最大池层、SEM多尺度增强模块、3×3‑

512卷积层;

V2区的边缘响应在V2输出子网络中经过三次2×2最大池化,然后经过SEM多尺度增强模块提取多尺度特征,最后经过3×3‑512卷积层匹配通道数,得到融合结果d。

8.如权利要求1所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的解码网络由多个单元模块R组成的4层结构,第一层包含4个单元模块R,第二层包含3个单元模块,第三层包含2个单元模块R,第四层包含1个单元模块R;

融合结果d和融合结果c分别输入第一层的第一个单元模块R中,经该单元模块R处理获得处理结果R1;

处理结果dc与融合结果b分别输入第一层的第二个单元模块R中,经该单元模块R处理获得处理结果R2;

处理结果R2与融合结果a分别输入第一层的第三个单元模块R中,经该单元模块R处理获得处理结果R3;

处理结果R3与输出结果S1分别输入第一层的第四个单元模块R中,经该单元模块R处理获得处理结果R4;

处理结果R1与处理结果R2分别输入第二层的第一个单元模块R中,经该单元模块R处理获得处理结果R5;

处理结果R5与处理结果R3分别输入第二层的第二个单元模块R中,经该单元模块R处理获得处理结果R6;

处理结果R6与处理结果R4分别输入第二层的第三个单元模块R中,经该单元模块R处理获得处理结果R7;

处理结果R5与处理结果R6分别输入第三层的第一个单元模块R中,经该单元模块R处理获得处理结果R8;

处理结果R8与处理结果R7分别输入第三层的第二个单元模块R中,经该单元模块R处理获得处理结果R9;

处理结果R8与处理结果R9分别输入第四层的单元模块R中,经该单元模块R处理获得处理结果R10,处理结果R10经1×1‑1卷积获得解码输出结果。

9.如权利要求8所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的单元模块R包含两个输入通道,通道1输入尺寸较大的图像,通道2输入尺寸较小的图像;

图像在通道1中依次经过3×3卷积,ReLU函数激活,批归一化层处理,乘以sigmoid函数归一化的可训练权重,获得通道1输出结果;

图像在通道2中依次经过3×3卷积,ReLU函数激活,批归一化层,乘以sigmoid函数归一化的可训练权重,经上采样与通道1输出结果尺寸一致,获得通道2输出结果;

其中,通道1和通道2中的3x3卷积层的输出通道数与两个输入中通道数小的保持一致;

将通道1输出结果于通道2输出结果相加融合,获得当前单元模块R的输出结果。

10.如权利要求8所述的学习生物视觉通路的轮廓检测方法,其特征在于:所述的步骤C和D中,计算损失的公式如下:总损失如下:

上式中,θi和θfuse分别表示三种子网络输出的损失的权重和最终预测的损失的权重,Pi代表三种不同的输出,Pfuse代表最终的边缘预测,Y表示真实边缘图;

l(Pfuse,Y)的计算公式如下:+ ‑

对于一张真实边缘图Y=(yj,j=1,...,|Y|),yj∈{0,1},定义Y={yj,yj>η}和Y =+ ‑

{yj,yj=0},Y和Y分别代表正样本集和负样本集,其他像素全部忽略。

因此l(Pfuse,Y)计算如下:式(3)中,P代表预测,pj代表在像素j处经过一个sigmoid函数处理后的值。α和β用于平衡正负样本,λ是控制系数大小的权重。