利索能及
我要发布
收藏
专利号: 2021116774905
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于关键点和卡尔曼滤波的视频预测方法,其特征在于,包括如下步骤:获取原始自动驾驶过程中的采集的图像数据和视频数据;

根据多维数据和训练后的图像特征提取模型进行图像的特征提取,根据提取到的特征获取图像的多维度关键点信息,将多维度关键点信息渲染为低维数据,并结合第1帧图像对得到的低维数据通过图像重构模型进行图像重构;

提取重构后图像的多维度关键点信息,结合RNN模型估计获得的图像先验信息,利用卡尔曼滤波对当前数据帧预测,得到下一个数据帧预测图像,根据预测图像预测标识对象接下来的行为;

所述图像先验信息的获取过程包括:

在观测到当前帧图像之前,将历史信息融入到RNN模型中,获取当前帧的先验信息;

结合当前帧图像信息与先验信息,利用贝叶斯估计,求得预测模型的后验估计;

由后验估计及当前帧关键点信息,利用卡尔曼滤波预测下一帧的关键点信息;

所述预测模型的损失函数为:

其中 为超参, 为t+1帧图像, 为t+1帧预测图像, 为相对熵损失, 为分离损失, 为稀疏损失;其中, ,, , ,

表示关键点x的均值。

2.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法,其特征在于,所述特征提取模型包括多个卷积神经网络模块,每个卷积神经网络模块包括:批标准化、卷积层、池化层以及非线性激活层。

3.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法,其特征在于,提取重构后图像的多维度关键点信息进行恢复图像关键点,所述恢复图像关键点的方法为:通过高斯映射,将关键点进行渲染。

4.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法,其特征在于,在获取原始数据后进行数据的预处理,对数据进行随机打乱操作。

5.一种基于关键点和卡尔曼滤波的视频预测系统,其特征在于,包括:数据获取模块,被配置为:获取原始自动驾驶过程中的采集的图像数据和视频数据;

关键点信息提取模块,被配置为:根据多维数据和训练后的图像特征提取模型进行图像的特征提取,根据提取到的特征获取图像的多维度关键点信息,将多维度关键点信息渲染为低维数据,并结合第1帧图像对得到的低维数据通过图像重构模型进行图像重构;

视频图像预测模块,被配置为:提取重构后图像的多维度关键点信息,结合RNN模型估计获得的图像先验信息,利用卡尔曼滤波对当前数据帧预测,得到下一数据帧预测图像,根据预测图像预测标识对象接下来的行为;

所述图像先验信息的获取过程包括:

在观测到当前帧图像之前,将历史信息融入到RNN模型中,获取当前帧的先验信息;

结合当前帧图像信息与先验信息,利用贝叶斯估计,求得预测模型的后验估计;

由后验估计及当前帧关键点信息,利用卡尔曼滤波预测下一帧的关键点信息;

所述预测模型的损失函数为:

其中 为超参, 为t+1帧图像, 为t+1帧预测图像, 为相对熵损失, 为分离损失, 为稀疏损失;其中, ,, , , 表

示关键点x的均值。

6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑4中任一项所述的一种基于关键点和卡尔曼滤波的视频预测方法中的步骤。

7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑4中任一项所述的一种基于关键点和卡尔曼滤波的视频预测方法中的步骤。