利索能及
我要发布
收藏
专利号: 2021101672025
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于事件相机的多阶段人体姿态估计方法,其特征在于,所述方法包括以下步骤:

1)将事件相机的稀疏事件流积累成图像帧,过程如下:使用设定固定事件数作为滑动窗口扫描异步输出的事件流信号,将一个窗口内的所有事件流投影到大小为256*256的平面,积累生成单帧图像;

2)通过深度卷积与反卷积网络模块提取一帧图像的高分辨率特征图,过程如下:将一帧图像输入到深度卷积与反卷积网络模块,经过卷积与反卷积提取图像特征,该网络模块在卷积部分采用ResNet残差神经网络作为骨干网络,能够在加深网络的同时减少梯度消失产生;此后,通过增加三层反卷积层进行特征的高分辨率特征恢复,生成高分辨率特征图;

3)通过长短期记忆网络LSTM建立视频中各帧之间的时序依赖关系,并生成每一帧的关节预测热图,过程如下:

在一个事件视频中,利用上述深度卷积与反卷积网络模块提取每一帧的特征图,然后利用LSTM网络模块建模此视频中各帧特征图之间的时序依赖关系;最后,使用一个卷积网络作为关节热图生成器,即将每一帧的LSTM单元输出连接到该卷积网络生成热图,其中,该卷积网络包括3个卷积层、激活层和池化层;

4)通过时序跳跃链式结构建立基于历史热图的多阶段姿态估计方法;

5)通过权重配比学习,对历史阶段的热图进行权重选择,过程如下:使用和热图大小相同的矩阵保存权重配比,通过基于反向传播的网络模型学习,自动更新比重,用于学习各个历史阶段热图对当前阶段的姿态预测的重要性;因此,当前阶段的姿态预测并不是简单的继承所有历史阶段的信息,而是通过权重配比来有选择的继承历史阶段信息,保证赋予相似度高的历史帧更高权重,忽略相似度低的历史帧。

2.如权利要求1所述的一种基于事件相机的多阶段人体姿态估计方法,其特征在于,所述步骤4)的过程如下:

使用多阶段机制来完成估计结果不断精确化的过程,其中一个关键策略是将先前阶段帧的热图传到下一个阶段帧,并监督所有阶段的损失函数;

此方法需要连接的有三个部分:上一帧生成的热图,当前帧输入的深度特征和上一帧LSTM的输出;

基于步骤2)与3),多阶段姿态估计方法共分为5个阶段,对应输入视频中5个连续的事件帧,当前阶段的LSTM单元输入是其当前阶段特征图与所有历史阶段的生成热图的融合;

由于第1个阶段没有历史热图信息,所以采用一个初始化的深度卷积与反卷积网络模块直接生成关节预测热图,作为第1阶段的初始历史热图与当前阶段提取的特征图进行融合;第

2阶段LSTM单元的输入是第1阶段生成的热图与当前阶段提取的特征图的融合;第3阶段LSTM单元的输入是第1阶段和第2阶段生产的热图与当前阶段提取的特征图的融合,以此类推,第4‑5阶段是同样的时序跳跃链式结构;为了获得更准确的初始化热图特征信息,在第1阶段的热图初始化卷积与反卷积网络模块中,采用更深层次的ResNet34作为网络骨架;第

2‑5阶段利用了所有历史热图信息,所以使用相对浅层的ResNet18作为深度卷积与反卷积模块的网络骨架,用于加快模型的训练和预测;

所有阶段通过数学公式表达:

如公式所示,将所有过程分为T个阶段,其中第1个阶段和后续的阶段用不同公式表达,Xt是图像帧输入, 是基于残差网络ResNet的卷积网络,F(·)是反卷积网络,其将卷积网络的低分辨率特征图像转换为高分辨率特征图像, 是LSTM网络;最后,使用卷积层g将LSTM输出特征转换为热图特征。