利索能及
我要发布
收藏
专利号: 202210800779X
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种隐式运动补偿的视频对象分割方法,其特征在于,所述方法包括:提取待处理视频中的连续帧,并通过共享特征编码器,对所述连续帧进行特征提取,得到嵌入特征;其中,所述连续帧包括中心帧以及若干相邻帧;

对所述嵌入特征进行相似性矩阵计算,得到相似矩阵;并对所述相似矩阵进行归一化,得到注意增强特征;

通过每一层的所述嵌入特征跳跃连接更高层次进行预测引导,生成最终特征,具体包括:根据 得到最终特征 其中,

为残差阶段;up为幅值为2的双线性插值上采样操作, 为主干特征到关键空间的残差阶段投影头, 由一个头部卷积层和一个残差块组成, 为第l+1层残差网络的侧面掩l码,Vi为嵌入特征,i为常数;

将所述中心帧的最终特征与每个相邻帧的最终特征进行对齐,得到对齐特征;

对所述对齐特征进行融合,得到融合特征;

对所述融合特征进行分割预测,实现隐式运动补偿的视频对象分割,得到预测分割掩码,以通过所述预测分割掩码对视频对象进行分割。

2.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法,其特征在于,提取待处理视频中的连续帧,并通过共享特征编码器,对所述连续帧进行特征提取,得到嵌入特征,具体包括:根据 提取所述待处理视频中的预设2N+1个连续帧Ii,并选取中间帧为中心帧,其他帧为相邻帧;其中,w*h为所述待处理视频中每一帧图像的空间分辨率,Δt为帧间隔,R为实数,N为常数,t为时间;

将提取的所述连续帧Ii作为所述共享特征编码器的输入,得到嵌入特征 其中l为残差阶段,l∈{2,3,4,5},s为尺度,s∈{4,8,16,32}, 为关于所述嵌入特征对应的特征映射通道。

3.根据权利要求2所述的一种隐式运动补偿的视频对象分割方法,其特征在于,对所述嵌入特征进行相似性矩阵计算,得到相似矩阵;并对所述相似矩阵进行归一化,得到注意增强特征,具体包括:基于预先构建的关键编码器,提取所述连续帧中每一帧的关键特征;

通过所述关键编码器对所述中心帧和所述相邻帧进行关键映射,得到关键映射特征其中,ξθ为主干特征到关键空间的投影头, 为残差阶段l=5时的所述嵌入特征;

T T T

根据S=(P·[Ki])·(Q·[Ki]),得到所述连续帧之间的相似矩阵S;其中,符号·为相乘操作, 以及 均为可训练权重矩阵,R为实数,Ck为维度并且设为T T

64,P以及Q为转置矩阵;

通过softmax函数对所述连续帧之间的相似矩阵S进行归一化,得到归一化的相似矩阵r (w′h′ w′h′)其中,S∈[0,1] )*( ,w*h为所述待处理视频中每一帧图像的空间分辨率,i,n,j为常数;

r

基于所述归一化的相似矩阵S ,对残差阶段l=5时的所述嵌入特征 计算加权和,得

5 r

到注意增强特征Zi=Vi·S;其中,

4.根据权利要求3所述的一种隐式运动补偿的视频对象分割方法,其特征在于,所述连续帧之间的相似矩阵S,具体包括:T

根据S1=[Ki]·W·[Ki],得到连续帧之间的初始相似矩阵S1;其中, 为可训练权重矩阵;

将所述可训练权重矩阵W分解为两个可逆训练权重矩阵 以及得到所述连续帧之间的相似矩阵S。

5.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法,其特征在于,所述方法还包括:根据 计算第l层残差网络的侧面掩码 其中,两个卷积层 与函数层σ来预测侧面掩码实现深度监督。

6.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法,其特征在于,将所述中心帧的最终特征与每个相邻帧的最终特征进行对齐,得到对齐特征,具体包括:将所述中心帧的最终特征fref与相邻帧的最终特征fnbr{+,‑}进行对准,得到深度级联层可学习参数 其中,l∈{1,2,3,4}为深度级联层, 为卷积层, 为轻量偏移发生器,[·,·]为联级操作,并且令根据每一个卷积层都要进行的所述深度级联层可学习参数计算,得到θ={Δpn|n=1,...,||R||};其中,θ为采样位置卷积核的可学习偏移量,R为实数;

通过可变形卷积网络DCN,将所述中心帧的最终特征与每个相邻帧的最终特征进行对齐,得到对齐后特征其中,w

为卷积核的权值,p0以及pn为卷积核的采样位置。

7.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法,其特征在于,对所述对齐特征进行融合,得到融合特征,具体包括:通过所述中心帧的最终特征fref与连接特性 进行融合,得到融合特征f′′=As(f′)*f′+δθ(As(f′));其中,为所述对齐特征,

为空间注意参数,δθ为一个轻量级编码器,C为维度,w*h为所述待处理视频中每一帧图像的空间分辨率,N为常数;

其中, 为中间融

合特征, 为时间注意参数。

8.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法,其特征在于,对所述融合特征进行分割预测,实现隐式运动补偿的视频对象分割,得到预测分割掩码,以通过所述预测分割掩码对视频对象进行分割,具体包括:通过损失函数进行联合度预测,对所述融合特征进行分割预测,得到预测分割掩码其中, w*h为所述待处理视频中每一帧图像的空间分辨率。

9.一种隐式运动补偿的视频对象分割设备,其特征在于,所述设备包括:至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行根据权利要求1‑8任一项所述的一种隐式运动补偿的视频对象分割方法。