利索能及
我要发布
收藏
专利号: 2018105234672
申请人: 广东工业大学
专利类型:发明专利
专利状态:无效专利
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频关键帧提取方法,其特征在于,包括:

获取视频数据,并根据所述视频数据确定候选帧集;

确定每一帧图像的目标区域,并对所述目标区域进行目标角度的标注;

利用所述候选帧集和标注后的目标区域训练神经网络,其中,所述神经网络的参数包括所述目标区域的置信度和所述目标角度;

将所述视频数据中的每一帧图像输入训练完成的神经网络中,输出所述目标区域的边界框,得到边界框集;

通过筛选所述边界框集得到关键帧集;

其中,所述通过筛选所述边界框集得到关键帧集,包括:利用非极大值抑制算法剔除所述边界框集中的重复边界框,得到候选边界框集;

确定所述候选边界框集中每一边界框所属的帧图像,组成候选关键帧集;

将所述候选关键帧集中时间相邻的帧图像分为一类,并确定每类中信息量最大的帧图像,得到关键帧集。

2.根据权利要求1所述视频关键帧提取方法,其特征在于,确定所述每一帧图像的目标区域,并对所述目标区域进行目标角度的标注,包括:S11:计算目标帧图像的第一图像熵;

S12:确定所述每一帧图像的目标区域,并对所述目标区域进行随机角度的标注,并计算标注后的目标区域的第二图像熵;

S13:当所述第一图像熵与所述第二图像熵满足预设条件时,将所述随机角度作为所述目标帧图像的目标角度;

重复S11‑S13直至所述候选帧集的每一帧图像全部标注完成。

3.根据权利要求2所述视频关键帧提取方法,其特征在于,所述预设条件具体为:H H’

|e‑e |<S;

其中,H为所述第一图像熵,H'为所述第二图像熵,S为所述目标帧图像对应的常量。

4.根据权利要求1所述视频关键帧提取方法,其特征在于,所述神经网络的损失函数具体为:其中,r1、r2、r3为所述神经网络的权重参数,B为Batch量,即所述候选帧集中图像帧的数量,S为所述神经网络输出边界框的边框大小,c为边界框或目标区域的类别,classes为类的集合,[xi,yi,wi,hi,Ci,pi(c),θi(c)]为所述神经网络输出的第i个边界框的参数值,为标注后的第i个目标区域的参数值,(x,y)为边界框或目标区域的中心点坐标,w为边界框或目标区域的宽,h为边界框或目标区域的高,C为边界框或目标区域的置信度,p(c)为类的概率,θ(c)为边界框或目标区域的角度, 表示目标落入第i个边界框中, 表示目标落入第j个图像帧的第i个边界框中, 表示目标未落入第j个图像帧的第i个边界框中。

5.根据权利要求1所述视频关键帧提取方法,其特征在于,所述利用非极大值抑制算法剔除所述边界框集中的重复边界框,得到候选边界框集,包括:S21:计算所述边界框集中所有边界框的pC值;其中,所述pC值为所述边界框的置信度与所述边界框类别的置信度的乘积;

S22:剔除所述边界框集中pC值中小于第一预设值的边界框;

S23:将当前边界框集中pC值最大的边界框确定为目标边界框,将所述目标边界框加入所述候选边界框集中,并剔除所述目标边界框;

S24:将当前边界框集中pC值最大的边界框确定为候选边界框,并计算所述候选边界框与所述候选边界框集中边界框之间的IoU值;

S25:判断所述IoU值是否小于第二预设值,若是,则将所述候选边界框加入所述候选边界框集中,并进入S26,若否,则进入S26;

S26:剔除所述候选边界框,重新进入S24直至所述边界框集中的边界框全部剔除完成。

6.根据权利要求1所述视频关键帧提取方法,其特征在于,所述确定每类中信息量最大的帧图像,包括:通过信息量公式计算所有帧图像的信息量,并确定每类中信息量最大的帧图像;其中,所述信息量公式具体为:其中,θ为所述目标角度,C1为所述边界框的置信度,C2为所述边界框类别的置信度,(x1,y1)、(x2,y2)为所述边界框的对角坐标,Sorti为第i帧图像帧的信息量。

7.一种视频关键帧提取系统,其特征在于,包括:

获取模块,用于获取视频数据,并根据所述视频数据确定候选帧集;

标注模块,用于对所述候选帧集的每一帧图像进行随机角度的标注以确定所述每一帧图像的目标区域;

训练模块,用于利用所述候选帧集和标注后的目标区域训练神经网络,其中,所述神经网络的参数包括所述目标区域的置信度和目标角度;

输入模块,用于将所述视频数据中的每一帧图像输入训练完成的神经网络中,输出所述目标区域的边界框,得到边界框集;

筛选模块,用于通过筛选所述边界框集得到关键帧集;

其中,所述筛选模块具体用于:

利用非极大值抑制算法剔除所述边界框集中的重复边界框,得到候选边界框集;确定所述候选边界框集中每一边界框所属的帧图像,组成候选关键帧集;将所述候选关键帧集中时间相邻的帧图像分为一类,并确定每类中信息量最大的帧图像,得到关键帧集。

8.一种视频关键帧提取设备,其特征在于,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述视频关键帧提取方法的步骤。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视频关键帧提取方法的步骤。