1.一种基于视频帧间单应性变换的视频稳定方法,其特征在于,包括以下步骤:S1:划分视频的背景区域和前景区域,覆盖所述前景区域,生成视频帧Ik的前景掩膜Mk;
S2:基于浅层网络提取所述视频帧Ik的低级特征Fk,同时通过卷积网络获得所述视频帧Ik的置信图Ak;将所述前景掩膜Mk、所述低级特征Fk和所述置信图Ak融合,得到所述视频帧Ik的背景区域可信低级特征Gk;
S3:令k=k+1,重复S1‑S2,得到视频帧Ik+1的背景区域可信低级特征Gk+1;
S4:构建运动估计神经网络,并根据所述视频帧Ik的背景区域可信低级特征Gk和视频帧Ik+1的背景区域可信低级特征Gk+1获得相邻视频帧之间的单应性关系矩阵Hk+1,k;
S5:根据所述相邻视频帧之间的单应性关系矩阵Hk+1,k对视频的整体运动路径进行平滑处理,实现视频稳定。
2.根据权利要求1所述的一种基于视频帧间单应性变换的视频稳定方法,其特征在于,所述S1包括:S11:基于语义分割模型对视频中不同的物体进行区分,确定候选对象,除候选对象外的区域判定为背景区域;所述候选对象为可移动的物体;
S12:根据所述候选对象的位置信息进行筛选,对于同一候选对象,若其在前一帧和后一帧的位置变化小于设定的阈值下限,则所述候选对象所在的区域被判定为背景区域,若其位置变化大于设定的阈值上限,则被判定为前景区域;
S13:被判定为背景区域的像素点用1表示,被判定为前景的候选对象所在区域用0表示,覆盖前景区域,最终生成前景掩膜Mk。
3.根据权利要求1所述的一种基于视频帧间单应性变换的视频稳定方法,其特征在于,所述视频帧Ik的背景区域可信低级特征Gk的计算公式为:Gk=Mk·Fk·Ak,1≤k≤T;
式中,T表示视频的总帧数。
4.根据权利要求1所述的一种基于视频帧间单应性变换的视频稳定方法,其特征在于,所述S4包括:S41:构建特征图B=[Gk,Gk+1],所述特征图B经历一个卷积层,提取高级语义特征Z,背景区域可信低级特征Gk和Gk+1的大小为H×W×C;
C
S42:将所述高级语义特征Z重塑为一个序列{zi∈R|i=1,...,N},N=H×W;
S43:特征zi通过不同的1×1卷积函数转换为不同格式的特征,根据不同格式的特征计算相邻帧之间特征的相关性,计算方式如下:ki=Wkzi;qi=Wqzi;vi=Wvzi;
其中,Wk、Wq、Wv分别代表三种不同的1×1卷积函数;ki、qi、vi分别代表zi转换为的三种不同格式的特征;βi,j表示第i个位置与第j个位置之间的相关性;i和j分别代表第k帧特征和第k+1帧特征中的点;
S44:根据得到的相邻帧之间特征的相关性βi,j,得到高级特征y=(y1,y2,...,yi,...,C×NyN)∈R ,其计算过程如下所示:
S45:将所述高级特征y进行格式重塑得到重塑特征Y,重塑特征Y的格式为H×W×C;
S46:所述重塑特征Y使用残差链接与所述高级语义特征Z结合作为后续全连接层的输入,得到从第k帧到第k+1帧的四个运动位移矢量,再通过DLT将四个运动位移矢量转换为相邻视频帧之间的单应性关系矩阵Hk+1,k。
5.根据权利要求4所述的一种基于视频帧间单应性变换的视频稳定方法,其特征在于,提取所述高级语义特征Z的公式如下:
3×3
Z=AvgPool(σ(f (B)));
3×3
其中,σ是Relu函数;f 表示卷积核尺寸为3的卷积操作;AvgPool为最大池化操作。
6.根据权利要求4所述的一种基于视频帧间单应性变换的视频稳定方法,其特征在于,S4还包括:构造损失函数,基于所述损失函数优化运动估计神经网络;
所述损失函数为:
其中,α和γ是平衡超参数,E是一个三阶单位矩阵,L(Ik+1,Ik)=||Fk+1‑Fk||1。
7.根据权利要求1所述的一种基于视频帧间单应性变换的视频稳定方法,其特征在于,所述S5包括:基于下列公式实现整体视频的稳定:
I′k+1=Ik+1*Pk*Hk+1,k,1≤k≤T;
其中,I′k+1表示稳定后的视频帧Ik+1,Pk表示相机从第一帧到第k帧的运动路径,计算方式为:式中,Ht,t‑1表示从第t帧到第t‑1帧之间的单应性关系矩阵。
8.一种基于视频帧间单应性变换的视频稳定系统,其特征在于,包括:前景掩膜模块,用于划分视频的背景区域和前景区域,覆盖所述前景区域,生成视频帧的前景掩膜;
可信浅层特征提取模块,用于得到所述视频帧的背景区域可信低级特征;
运动估计模块,用于构建运动估计网络,并根据相邻视频帧的背景区域可信低级特征获得相邻视频帧之间的单应性关系矩阵;
路径平滑模块,用于根据所述相邻视频帧之间的单应性关系矩阵对视频的整体运动路径进行平滑处理,实现视频稳定。
9.根据权利要求8所述的一种基于视频帧间单应性变换的视频稳定系统,其特征在于,所述可信浅层特征提取模块包括:低级特征提取单元,用于基于浅层网络分别提取视频帧的低级特征;
置信图获取单元,用于通过卷积网络获得所述视频帧的置信图;
融合单元,用于将所述视频帧的前景掩膜、所述低级特征和所述置信图融合,得到所述视频帧的背景区域可信低级特征。