利索能及
我要发布
收藏
专利号: 2023105821352
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述方法包括:将待检测视频中的视频帧进行稀疏化的增强处理,获得增强后的视频;

将所述增强后的视频的视频帧输入改进型SSD目标检测网络模型中的浅层特征提取模块进行特征提取,生成各所述视频帧的第一浅层特征图、第二浅层特征图和第三浅层特征图;

将各所述视频帧的所述第三浅层特征图输入所述改进型SSD目标检测网络模型中的深层特征提取模块进行特征提取,生成各所述视频帧的第一深层特征图、第二深层特征图和第三深层特征图;

将各所述视频帧的所述第一深层特征图、第二深层特征图和第三深层特征图输入所述改进型SSD目标检测网络模型中的深层特征融合模块进行特征融合,获得各所述视频帧的深层特征融合图;

将各所述视频帧的所述深层特征融合图、所述第一浅层特征图、所述第二浅层特征图和所述第三浅层特征图输入所述改进型SSD目标检测网络模型中的深浅层特征融合模块进行特征融合,获得各所述视频帧的深浅层融合特征;

将各所述视频帧的所述第二深层特征图、所述第三深层特征图、所述深层特征融合图、所述深浅层融合特征输入所述改进型SSD目标检测网络模型中的检测模块,获得视频运动目标检测结果;

所述改进型SSD目标检测网络模型是基于VGG16网络框架提取特征的SSD模型,所述改进型SSD目标检测网络模型包括浅层特征提取模块、深层特征提取模块、深层特征融合模块、深浅层特征融合模块以及检测模块;

所述将待检测视频中的视频帧进行稀疏化的增强处理,获得增强后的视频,包括:根据待检测视频中的视频帧的时间先后顺序,依次确定当前视频帧和下一视频帧;

对所述当前视频帧和所述下一视频帧的各像素点的像素值进行分析,确定所述当前视频帧和所述下一视频帧的像素差值中的非零值个数是否超过阈值;

在像素差值中的非零值个数未超过阈值时,跳过当前视频帧,返回所述根据待检测视频中的视频帧的时间先后顺序,依次确定当前视频帧和下一视频帧的步骤;

在像素差值中的非零值个数超过阈值时,对所述当前视频帧和所述下一视频帧进行特征提取,获得帧间光流特征图;

采用所述帧间光流特征图对所述当前视频帧进行图像增强,获得增强后的视频帧;

用所述增强后的视频帧替换所述待检测视频中的所述当前视频帧;

分析所述下一视频帧是否为最后一个视频帧,若不是最后一个视频帧,返回所述根据待检测视频中的视频帧的时间先后顺序,依次确定当前视频帧和下一视频帧的步骤,若是最后一个视频帧,得到增强后的视频;

所述在像素差值中的非零值个数超过阈值时,对所述当前视频帧和所述下一视频帧进行特征提取,获得帧间光流特征图,包括:在像素差值中的非零值个数超过阈值时,对所述当前视频帧和所述下一视频帧使用Lucas–Kanade光流提取算法进行特征提取,获得帧间光流特征图。

2.根据权利要求1所述的基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述浅层特征提取模块包括第一浅层特征提取单元、第二浅层特征提取单元和第三浅层特征提取单元;

所述将所述增强后的视频的视频帧输入改进型SSD目标检测网络模型中的浅层特征提取模块进行特征提取,生成各所述视频帧的第一浅层特征图、第二浅层特征图和第三浅层特征图,包括:将所述增强后的视频的视频帧输入第一浅层特征提取单元进行特征提取,获得各所述视频帧的第一浅层特征图;

将各所述视频帧的第一浅层特征图输入第二浅层特征提取单元进行特征提取,获得各所述视频帧的第二浅层特征图;

将各所述视频帧的第二浅层特征图输入第三浅层特征提取单元进行特征提取,获得各所述视频帧的第三浅层特征图。

3.根据权利要求1所述的基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述深层特征提取模块包括第一深层特征提取单元、第二深层特征提取单元和第三深层特征提取单元;

所述将各所述视频帧的所述第三浅层特征图输入所述改进型SSD目标检测网络模型中的深层特征提取模块进行特征提取,生成各所述视频帧的第一深层特征图、第二深层特征图和第三深层特征图,包括:将各所述视频帧的第三浅层特征图输入第一深层特征提取单元进行特征提取,获得各所述视频帧的第一深层特征图;

将各所述视频帧的第一深层特征图输入第二深层特征提取单元进行特征提取,获得各所述视频帧的第二深层特征图;

将各所述视频帧的第二深层特征图输入第三深层特征提取单元进行特征提取,获得各所述视频帧的第三深层特征图。

4.根据权利要求1所述的基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述深浅层特征融合模块包括:第一深浅层特征融合单元、第二深浅层特征融合单元和第三深浅层特征融合单元;

所述将各所述视频帧的所述深层特征融合图、所述第一浅层特征图、所述第二浅层特征图和所述第三浅层特征图输入所述改进型SSD目标检测网络模型中的深浅层特征融合模块进行特征融合,获得各所述视频帧的深浅层融合特征,包括:将各所述视频帧的所述深层特征融合图和所述第三浅层特征图输入所述第一深浅层特征融合单元,获得各所述视频帧的第一深浅层融合特征图;

将所述各所述视频帧的第一深浅层融合特征图和所述第二浅层特征图输入所述第二深浅层特征融合单元,获得各所述视频帧的第二深浅层融合特征图;

将所述各所述视频帧的第二深浅层融合特征图和所述第一浅层特征图输入所述第三深浅层特征融合单元,获得各所述视频帧的第三深浅层融合特征图;

其中,各所述视频帧的深浅层融合特征包括各所述视频帧的第一深浅层融合特征图、第二深浅层融合特征图和第三深浅层融合特征图。

5.根据权利要求4所述的基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述第一深浅层特征融合单元、第二深浅层特征融合单元和第三深浅层特征融合单元的深浅层特征融合方式相同,所述深浅层特征融合方式为:对深层特征进行双线性插值上采样,获得采样后的特征;

对浅层特征进行卷积和Batch Normalization操作,获得操作后的特征;

将所述采样后的特征和所述操作后的特征相加后使用sigmoid激活进行处理,获得处理后的特征;

将所述处理后的特征与所述浅层特征相乘后,生成深浅层融合特征。

6.根据权利要求1所述的基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述深层特征融合模块包括:第一卷积层、第二卷积层、第一全局平均池化层、第三卷积层、第二全局平均池化层和第四卷积层;

将各所述视频帧的所述第一深层特征图、第二深层特征图和第三深层特征图输入所述改进型SSD目标检测网络模型中的深层特征融合模块进行特征融合,获得各所述视频帧的深层特征融合图,包括:将各所述视频帧的所述第一深层特征图输入第一卷积层进行处理,将处理后的特征图输入到第二卷积层进行处理,输出第一特征图;

将各所述视频帧的所述第一深层特征图输入第一全局平均池化层进行处理,将处理后的特征图输入到第三卷积层进行处理,输出第二特征图;

将各所述视频帧的所述第二深层特征图输入第二全局平均池化层进行处理,将处理后的特征图输入到第四卷积层进行处理,输出第三特征图;

将所述第一特征图、所述第二特征图、所述第三特征图和第三深层特征图利用广播机制进行相加,获得各所述视频帧的深层特征融合图。

7.根据权利要求1所述的基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述采用所述帧间光流特征图对所述当前视频帧进行图像增强,获得增强后的视频帧,包括:对所述帧间光流特征图和所述待检测视频中的所述当前视频帧进行灰度化,获得灰度化后的视频帧与灰度化后的光流特征图;

使用结合权重w将所述灰度化后的视频帧与所述灰度化后的光流特征图进行结合,获得初步增强视频帧;

根据所述当前视频帧的色彩信息,采用逆灰度的方式对所述初步增强视频帧进行通道还原,获得增强后的视频帧。

8.根据权利要求7所述的基于稀疏光流提取的视频运动目标检测方法,其特征在于,所述灰度化后的视频帧与所述灰度化后的光流特征图进行结合的表达式为:*

f=w*f(T)+(1‑w)*I(T);

*

其中,f为初步增强视频帧,w为结合权重,w∈[0,1],f(T)为当前视频帧,I(T)为当前视频帧与下一视频帧的帧间光流特征图。