利索能及
我要发布
收藏
专利号: 202110512226X
申请人: 山东财经大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于中心先验与U‑Net网络相结合的显著性检测方法,其特征在于,具体包括以下步骤:

S1:利用U‑net编码器对对输入图像提取特征,U‑net编码器对图像进行编码处理,通过卷积和池化的方式得到输入图像的高级特征信息;

S2:背景噪声抑制优化模块的设计,并对编码器最后输出的高层特征信息进行优化,根据底层信息中像素块占整个图像的位置和比例生成对应的中心先验概率图;

S3:网络解码部分对信息进行解码,网络的解码部分对信息进行五层解码,在上采样解码的过程中采用跨层传播的方式并构建了信息传播模块;

S4:自适应损失函数机制维持网络结构的稳定:根据多分支上采样网络结构所构成的多个损失函数设计其对应的自适应损失函数机制,根据其损失函数的波动情况来设计对应参数,如果波动比较大,就增大其损失函数所占比例;

S5:最后通过sigmoid激活函数生成最终的显著性概率图。

2.根据权利要求1所述的一种基于中心先验与U‑Net网络相结合的显著性检测方法,其特征在于,所述步骤S1的具体步骤如下:S1‑1:输入图像通过python中的Rezise函数将尺寸统一为224×224×3(宽×高×通道数)

S1‑2:然后通过5层的编码提取高层特征信息,得到14×14×512(w×h×c)的高层特征信息,所谓的编码其实就是通过池化卷积进行下采样的过程:第一层编码:224×224×3到224×224×64,卷积操作:将通道数由3扩展为64;

第二层编码:224×224×64到112×112×128,先使用MaxPool函数来最大池化:将宽和高的尺寸由224×224降为112×112,再使用卷积操作将通道数由64扩展为128;

第三层到第五层编码参考第二层;112×112×128(第三层编码)56×56×256(第四层编码)28×28×512(第五层编码)14×14×512。

3.根据权利要求1所述的一种基于中心先验与U‑Net网络相结合的显著性检测方法,其特征在于,所述步骤S2的具体步骤如下:S2‑1:根据python中的torch库里的mean函数(求平均)将14×14×512的通道数由512平均化为1个通道;

S2‑2:根据S2‑1得到的14×14×1的信息利用公式1来求其显著性物体在该概率图上的中心点;

式中:W,H分别代表宽和高;G(x,y)代表在以宽高为x,y的坐标系上该坐标被判定为显著性物体的概率;(x,y)代表这里的坐标;(W,H)代表最大尺寸坐标;lceter代表中心点坐标;

S2‑3:根据S2‑1得到的14×14×1的信息利用公式(2)来求其中心先验概率图中预估显著性物体区域的半径,在这个半径内的中心先验概率图的概率为1,超过了这个区域,概率的计算方式为S2‑4中的公式(3);

式中:W*H:概率图的面积;c:常数0.5;

S2‑4:根据S2‑1得到的14×14×1的信息利用公式(2)来求其中心先验概率图中预估显著性物体区域的半径;

式中:Si∈(SLU,SLD,SRU,SRD);

SLU代表以Step2中公式1求得的中心点为中心的概率图的左上区域的面积;

SLD代表以Step2中公式1求得的中心点为中心的概率图的左下区域的面积;

SRU代表以Step2中公式1求得的中心点为中心的概率图的右上区域的面积;

SRD代表以Step2中公式1求得的中心点为中心的概率图的右下区域的面积;

Si(x,y)代表这里(x,y)所处的位置的面积;

p(x,y)代表中心先验概率图中的概率,离中心区域越远,p(x,y)越小;

S2‑5:通过中心先验概率图与高级语义信息(14×14×114×14×512)进行点乘的方式对底层网络编码后生成的信息进行处理。

4.根据权利要求1所述的一种基于中心先验与U‑Net网络相结合的显著性检测方法,其特征在于,所述步骤S3的具体步骤如下:S3‑1:网络的解码部分对信息进行五层解码,通过先上采样、级联、后卷积的方式逐层解码;

第一层解码:第五层编码后并中心化处理和上采样后的信息级联第四层编码后的信息进行卷积得到第一层解码信息,

即:(14×14×512)第五层编码信息中心化后的信息‑>(上采样)(28×28×512)第五层信息;

(28×28×512)第五层信息+(28×28×512)第四层信息‑>(级联)(28×28×1024);

(28×28×1024)‑>(卷积)(28×28×256)第一层解码信息;

第二层解码:第一层解码信息上采样后级联第三层编码后的信息进行卷积得到第二层解码信息,

即:(28×28×256)第一层解码信息‑>(上采样)(56×56×256)第一层解码信息;

(56×56×256)第一层解码信息+(56×56×256)第四层编码后信息‑>(级联)(56×56×512);

(56×56×512)‑>(卷积)(56×56×128)第二层解码信息第三层到第五层的解码过程和第二层的过程相同;

S3‑2:在解码过程中,第五层编码的模块3中的中心化的信息直接跨层传播到第三层编码的模块2中,中心化的数据通过平均化通道信息的方式减少通道数,并在减少通道后上采样到对应层数的宽高尺寸,在级联该层原始数据后将数据卷积为原始数据相同的通道数。

5.根据权利要求1所述的一种基于中心先验与U‑Net网络相结合的显著性检测方法,其特征在于,所述步骤S4的具体步骤如下:自适应损失函数机制的调节过程如下:S4‑1:设计该网络损失函数的计算公式,通过公式中的参数:λ0、λ1、λ2、λ3来调节各分支网络模块的损失函数在总损失函数中所占比例,公式如下loss=λ0*loss1+λ1*loss2+λ2*loss3+λ3*loss4

λ0=0.25,λ1=0.25,λ2=0.25,λ3=0.25    (4)参数初始值都设定为0.25,loss1,loss2,loss3,loss4分别代表了主解码网络和其他3各分支解码网络部分;

S4‑2:根据网络波动情况在每一个周期(20个迭代)结束时更新参数,λi=0.125+Δλi  (6)根据每个解码网络一个周期内20个迭代内前10次loss平均值减去后10次loss平均值得到△lossi,再根据公式(5)得到对应的△λi,根据公式(6)调节对应的λi并更新原有参数。