利索能及
我要发布
收藏
专利号: 2022108915516
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种光流估计方法,其特征在于,包括如下步骤:

导入多个原始图像,并构建训练模型,通过多个所述原始图像对所述训练模型进行训练,得到光流估计模型,所述训练模型包括下采样分析模块、卷积神经网络组和上采样分析模块,多个所述原始图像按照时间帧顺序排列;

导入待估计视频,并对所述待估计视频进行图像处理,得到多个待估计视频组;

通过所述光流估计模型分别对各个所述待估计视频组进行光流图像估计,得到与各个所述待估计视频组对应的目标光流图像,并将所有的目标光流图像作为光流估计结果;

所述卷积神经网络组包括多个顺序排列的卷积神经网络,所述通过所述卷积神经网络组分别对各个所述下采样图像组进行下采样光流图像的分析,得到与各个所述原始图像组对应的下采样光流图像的过程包括:S131:分别对各个第一原始图像对应的第一下采样后图像以及各个第二原始图像对应的第二下采样后图像进行拼接,得到与各个所述原始图像组对应的拼接后图像;

S132:通过第五式和当前卷积神经网络分别对各个所述第二下采样后图像以及与各个所述原始图像组对应的拼接后图像进行待处理图像的计算,得到与各个所述原始图像组对应的待处理图像,所述第五式为:,

其中, 为第n个卷积神经网络对应的待处理图像, 为第n个卷积神经网络,为拼接后图像,为卷积神经网络的个数,为第二下采样后图像;

S133:判断所述当前卷积神经网络是否为第n个卷积神经网络,若否,则将所述待处理图像作为所述第二下采样后图像,将下一卷积神经网络作为所述当前卷积神经网络,返回步骤S131;若是,则执行步骤S134;

S134:通过第六式分别对各个所述待处理图像进行下采样光流图像的计算,得到与各个所述原始图像组对应的下采样光流图像,所述第六式为:,

其中, 为下采样光流图像, 为第 个卷积神经网络对应的待处理图像,为卷积神经网络的个数。

2.根据权利要求1所述的光流估计方法,其特征在于,所述构建训练模型,通过多个所述原始图像对所述训练模型进行训练,得到光流估计模型的过程包括:分别将两两相邻的原始图像划为一组,得到多个原始图像组;

通过所述下采样分析模块分别对各个所述原始图像组进行下采样分析,得到与各个所述原始图像组对应的下采样图像组;

通过所述卷积神经网络组分别对各个所述下采样图像组进行下采样光流图像的分析,得到与各个所述原始图像组对应的下采样光流图像;

通过所述上采样分析模块分别对各个所述下采样光流图像进行上采样光流图像的分析,得到与各个所述原始图像组对应的上采样光流图像;

导入多个与所述原始图像组对应的真实光流图像,分别对各个所述上采样光流图像以及与各个所述原始图像组对应的真实光流图像进行损失函数计算,得到与各个所述原始图像组对应的损失函数;

根据所有的损失函数对所述训练模型进行参数更新,得到光流估计模型。

3.根据权利要求2所述的光流估计方法,其特征在于,所述下采样分析模块包括多个第一卷积层组和多个最大池化层,所述第一卷积层组与所述最大池化层数量相同且二者交替排列,所述原始图像组包括第一原始图像和第二原始图像;

所述通过所述下采样分析模块分别对各个所述原始图像组进行下采样分析,得到与各个所述原始图像组对应的下采样图像组的过程包括:通过首个第一卷积层组分别对各个所述第一原始图像以及各个所述第二原始图像进行特征提取,得到与各个所述第一原始图像对应的第一特征提取后图像以及与各个所述第二原始图像对应的第二特征提取后图像,具体为:通过第一式分别对各个所述第一原始图像进行第一特征提取后图像的特征提取,得到与各个所述第一原始图像对应的第一特征提取后图像,所述第一式为:,

其中, 为第一特征提取后图像, 为第一原始图像, 为卷积操作, 为激活函数;

通过第二式分别对各个所述第二原始图像进行第二特征提取后图像的特征提取,得到与各个所述第二原始图像对应的第二特征提取后图像,所述第二式为:,

其中, 为第二特征提取后图像, 为第二原始图像, 为卷积操作, 为激活函数;

通过首个最大池化层分别对各个所述第一特征提取后图像以及各个所述第二特征提取后图像进行下采样处理,得到与各个所述第一原始图像对应的第一下采样后图像以及与各个所述第二原始图像对应的第二下采样后图像,具体为:通过第三式分别对各个所述第一特征提取后图像进行第一下采样后图像的下采样处理,得到与各个所述第一原始图像对应的第一下采样后图像,所述第三式为:,

其中, 为第一特征提取后图像, 为第一下采样后图像, 为最大池化操作;

通过第四式分别对各个所述第二特征提取后图像进行第二下采样后图像的下采样处理,得到与各个所述第二原始图像对应的第二下采样后图像,所述第四式为:,

其中, 为第二特征提取后图像, 为第二下采样后图像, 为最大池化操作;

分别将与各个所述第一原始图像对应的第一下采样后图像以及与各个所述第二原始图像对应的第二下采样后图像输入至下一个第一卷积层组中,直至通过最后一个最大池化层后得到与各个所述第一原始图像对应的第一下采样后图像以及与各个所述第二原始图像对应的第二下采样后图像,并根据所述第一下采样后图像和所述第二下采样后图像得到下采样图像组。

4.根据权利要求3所述的光流估计方法,其特征在于,所述上采样分析模块包括多个转置卷积层和多个第二卷积层组,所述转置卷积层和所述第二卷积层组与所述最大池化层数量相同,所述转置卷积层与所述第二卷积层组二者交替排列;

所述通过所述上采样分析模块分别对各个所述下采样光流图像进行上采样光流图像的分析,得到与各个所述原始图像组对应的上采样光流图像的过程包括:通过首个转置卷积层分别对各个所述下采样光流图像进行上采样处理,得到与各个所述原始图像组对应的待提取光流图像,具体为:通过第七式分别对各个所述下采样光流图像进行上采样处理,得到与各个所述原始图像组对应的待提取光流图像,所述第七式为:,

其中, 为待提取光流图像, 为下采样光流图像, 为2维转置卷积操作;

通过首个第二卷积层组分别对各个所述待提取光流图像进行特征提取,得到与各个所述原始图像组对应的特征提取后光流图像,具体为:通过第八式分别对各个所述待提取光流图像进行特征提取,得到与各个所述原始图像组对应的特征提取后光流图像,所述第八式为:,

其中, 为待提取光流图像, 为卷积操作, 为激活函数, 为特征提取后光流图像;

分别将各个所述特征提取后光流图像输入至下一个转置卷积层中,直至通过最后一个第二卷积层组后得到与各个所述原始图像组对应的特征提取后光流图像,并将所述特征提取后光流图像作为上采样光流图像,从而得到与各个所述原始图像组对应的上采样光流图像。

5.根据权利要求2所述的光流估计方法,其特征在于,所述分别对各个所述上采样光流图像以及与各个所述原始图像组对应的真实光流图像进行损失函数计算,得到与各个所述原始图像组对应的损失函数的过程包括:通过第九式分别对各个所述上采样光流图像以及与各个所述原始图像组对应的真实光流图像进行损失函数计算,得到与各个所述原始图像组对应的损失函数,所述第九式为:,

其中, 为损失函数, 为真实光流图像, 为上采样光流图像。

6.根据权利要求1所述的光流估计方法,其特征在于,所述对所述待估计视频进行图像处理,得到多个待估计视频组的过程包括:对所述待估计视频进行逐帧提取,得到多个待排序图像;

按照逐帧提取的输出顺序对所有的待排序图像进行排序,得到多个待估计图像;

分别将两两相邻的待估计图像划为一组,得到多个待估计视频组。

7.一种光流估计装置,其特征在于,包括:

模型训练模块,用于导入多个原始图像,并构建训练模型,通过多个所述原始图像对所述训练模型进行训练,得到光流估计模型,所述训练模型包括下采样分析模块、卷积神经网络组和上采样分析模块,多个所述原始图像按照时间帧顺序排列;

图像处理模块,用于导入待估计视频,并对所述待估计视频进行图像处理,得到多个待估计视频组;

光流估计结果获取模块,用于通过所述光流估计模型分别对各个所述待估计视频组进行光流图像估计,得到与各个所述待估计视频组对应的目标光流图像,并将所有的目标光流图像作为光流估计结果;

所述卷积神经网络组包括多个顺序排列的卷积神经网络,所述模型训练模块中,通过所述卷积神经网络组分别对各个所述下采样图像组进行下采样光流图像的分析,得到与各个所述原始图像组对应的下采样光流图像的过程包括:S131:分别对各个第一原始图像对应的第一下采样后图像以及各个第二原始图像对应的第二下采样后图像进行拼接,得到与各个所述原始图像组对应的拼接后图像;

S132:通过第五式和当前卷积神经网络分别对各个所述第二下采样后图像以及与各个所述原始图像组对应的拼接后图像进行待处理图像的计算,得到与各个所述原始图像组对应的待处理图像,所述第五式为:,

其中, 为第n个卷积神经网络对应的待处理图像, 为第n个卷积神经网络,为拼接后图像,为卷积神经网络的个数,为第二下采样后图像;

S133:判断所述当前卷积神经网络是否为第n个卷积神经网络,若否,则将所述待处理图像作为所述第二下采样后图像,将下一卷积神经网络作为所述当前卷积神经网络,返回步骤S131;若是,则执行步骤S134;

S134:通过第六式分别对各个所述待处理图像进行下采样光流图像的计算,得到与各个所述原始图像组对应的下采样光流图像,所述第六式为:,

其中, 为下采样光流图像, 为第 个卷积神经网络对应的待处理图像,为卷积神经网络的个数。

8.一种光流估计系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,当所述处理器执行所述计算机程序时,实现如权利要求1至6任一项所述的光流估计方法。

9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求1至6任一项所述的光流估计方法。