利索能及
我要发布
收藏
专利号: 2020104018423
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于光流特征融合的视频语义分割方法,其特征在于,包括如下步骤:步骤1,判定视频序列的当前视频帧图像为关键帧图像或非关键帧图像;若为关键帧图像,则执行步骤2,若为非关键帧图像,则执行步骤3;

步骤2,提取当前视频帧图像的融合位置依赖信息和通道依赖信息的高层语义特征图;

步骤3,通过计算光流场得到当前视频帧图像的高层语义特征图;

步骤4,对步骤2和步骤3得到的高层语义特征图进行上采样,得到语义分割图;

步骤2包括如下步骤:

步骤2.1,采用第二深层卷积网络提取关键帧图像的高层语义特征图;

步骤2.2,将步骤2.1得到的高层语义特征图送入位置注意力模块,得到融合位置依赖信息的高层语义特征图;

步骤2.3,将步骤2.1得到的高层语义特征图送入通道注意力模块,得到融合通道依赖信息的高层语义特征图;

步骤2.4,对步骤2.2和步骤2.3的结果采用对位相乘的方式进行融合,得到融合位置依赖信息和通道依赖信息的高层语义特征图;

步骤2.2包括如下子步骤:

步骤2.2.1,将三份由步骤2.1中得到的高层语义特征图进行1*1卷积,得到高层语义特征图A、B、C,其中A、B、C的大小均为K*H*W;

步骤2.2.2,将A进行reshape并ranspose得到A′,大小为N*K且N=H*W,将B、C分别reshape得到B′、C′,大小为K*N且N=H*W;

步骤2.2.3,将步骤2.2.2得到的A′与B′相乘并做归一化处理,得到位置注意力特征图S,S的大小为K*K;

步骤2.2.4,将C′与位置注意力特征图相乘S,得到位置注意力特征图D1;

步骤2.2.5,将位置注意力特征图D与通过第二深度卷积网络得到的高层语义特征图进行融合,得到融合位置依赖信息的高层语义特征图E;表示为:E=αD1+feat_keyi

其中,α表示融合位置依赖信息的权重系数;feat_keyi表示通过第二深度卷积网络得到的高层语义特征图;

步骤2.3包括如下子步骤:

步骤2.3.1,将一份由步骤2.1中得到的高层语义特征图,进行reshape并transpose得到A″,大小为N*K且N=H*W;将两份由步骤2.1中得到的高层语义特征图进行reshape得到B″、C″,大小为K*N且N=H*W;

步骤2.3.2,将步骤2.3.1得到的A″与B″相乘并做归一化处理,得到通道注意力特征图X;

步骤2.3.3,将C″与通道注意力特征图X相乘,得到通道注意力特征图D2;

步骤2.3.4,将通道注意力特征图D2与通过第二深度卷积网络得到的高层语义特征图进行融合,得到融合通道依赖信息的高层语义特征图F;表示为:F=βD2+feat_keyi

其中,β表示融合通道依赖信息的权重系数;feat_keyi表示通过第二深度卷积网络得到的高层语义特征图;

所述第二深层卷积网络的结构由多个卷积层和池化层交替组成。

2.根据权利要求1所述的基于光流特征融合的视频语义分割方法,其特征在于,步骤1包括如下子步骤:步骤1.1,从视频序列中选取第一个视频帧图像作为第一个关键帧图像;

步骤1.2,采用第一深度卷积网络计算当前视频帧图像和关键帧图像之间的相似度expect score;

步骤1.3,将步骤1.2得到的相似度expect score与设定的相似度阈值target进行比较:当expect score>target时,则当前视频帧图像判定为非关键帧图像;

当expect score<target时,则当前视频帧图像判定为关键帧图像,并将该判定为关键帧图像的当前视频帧图像作为新的关键帧图像,用于判定视频序列中的后续视频帧图像是否为关键帧图像。

3.根据权利要求2所述的基于光流特征融合的视频语义分割方法,其特征在于,步骤

1.2中的所述第一深度卷积网络的结构包括依次连接的一个卷积层和三个全连接层。

4.根据权利要求1所述的基于光流特征融合的视频语义分割方法,其特征在于,步骤3包括如下子步骤:步骤3.1,采用第三深度卷积网络计算判定为非关键帧图像的当前视频帧图像和关键帧图像的光流场;所述关键帧图像是在处理当前视频帧图像时,由步骤1中确定的当前关键帧图像;

步骤3.2,融合步骤3.1得到的光流场以及步骤2得到的关键帧图像的融合位置依赖信息和通道依赖信息的高层语义特征图,得到判定为非关键帧图像的当前视频帧图像的高层语义特征图。

5.根据权利要求4所述的基于光流特征融合的视频语义分割方法,其特征在于,所述第三深度卷积网络的结构包括:收缩部分和扩大部分;收缩部分采用9个卷积层对输入图像进行下采样,以提取输入图像的特征得到特征图;扩大部分则采用反卷积的方式对收缩部分输出的特征图进行上采样。

6.根据权利要求1所述的基于光流特征融合的视频语义分割方法,其特征在于,步骤4中进行上采样的方法为通过反卷积运算的形式实现。