利索能及
我要发布
收藏
专利号: 2024104008754
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于毫米波雷达点云特征的行为识别方法,包括以下步骤:步骤1:采集毫米波雷达点云原始数据,并通过DBSCAN聚类将原始数据分割成多份单人数据,用于后续任务,同时运用Kinect DK深度相机采集真实数据作为模型训练标签;

步骤2:通过改进PointNet神经网络形成一个人体关键点重构网络,对每一帧点云数据进行重构,形成人体关键点模型;具体包括:

21)从步骤1中得到每帧分簇后的点云数据,计算每簇数据的质心位置,记录为();

22)构建神经网络,在经典点云分类分割网络 PointNet的基础上添加CNN及注意力机制,即PointNet+AM+CNN;CNN网络共4层,前两层分别是通道数为16和32的二维卷积层,后两层是两个包含512个神经元的全连接层;

23)训练网络模型;收集步骤1中每帧分簇后数据,结合Kinect DK深度相机采集的真实数据,形成关键点重构数据集;关键点重构模型最后输出一个长度为25的预测序列[()  ,  ( ), …  ,  ( ),  …  ,  ()];其中( )表示人体第i个关键点的坐标预测值;

步骤3:收集步骤2中生成连续帧人体关键点数据,构建时序卷积网络TCN,输入关键点数据实现行为识别;具体包括:

31)首先设置簇检测阈值 ,结合步骤21)中计算的质心位置,计算相邻帧数据簇之间的质心距离,实现每簇数据的连续追踪,也就是提取每个目标的连续运动数据;

  (3)

上式用于计算相邻两帧之间簇间距离,小于检测阈值 则判定为同一簇数据即同一人的数据;

32)构建时序卷积神经网络TCN,主体为8层残差结构,每个残差结构由两个卷积核为5*

5的膨胀卷积模块顺序执行,膨胀因子为 ,其中i为当前残差结构层数;在每个残差结构中还有一个卷积核为3*3的1维卷积层,进行时间上的约束,加强前后数据之间的联系;残差结构后有三个全连接层,用于实现最后的分类任务;

33)训练TCN模型,一共迭代100次,基础学习率为0.001,每隔5次学习率下降10倍,每次迭代结束保存一次模型,选择分类准确率最高的模型作为分类模型;模型最后输出动作的分类结果。

2.如权利要求1所述的基于毫米波雷达点云特征的行为识别方法,其特征在于,步骤1具体包括:

11)将毫米波雷达设备部署在视野较好的位置,根据需求配置毫米波雷达FMCW的相关参数,采集多人运动时的点云数据;

12)对点云原始数据执行坐标系转换任务:

                  (1)

其中 ( ) 表示雷达采集的原始点云数据, 分别表示雷达设备相对现实坐标系坐标原点的对应坐标轴位置差;( )表示经坐标转换任务后的点云位置数据;

13)对于多人活动的场景,运用DBSCAN聚类算法对处理后的点云数据进行分簇操作:                  (2)

预设半径Eps和最小密度阈值MinPts,对多人场景下点云数据进行聚类操作,得到点云分簇数据即单人数据;

14)部署雷达设备的同时需要运用微软Kinect DK深度相机采集人体运动状态下真实关键点数据[( )  ,  ( ) ,  …  ,  (), …  , ( )],分别表示25个人体关键

点坐标真实参考值,作为步骤2中模型训练的标签。

3.基于毫米波雷达点云特征的行为识别装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1‑2中任一项所述的基于毫米波雷达点云特征的行为识别方法方法。

4.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑2中任一项所述的基于毫米波雷达点云特征的行为识别方法。