1.基于毫米波雷达点云特征的行为识别方法,包括以下步骤:步骤1:采集毫米波雷达点云原始数据,并通过DBSCAN聚类将原始数据分割成多份单人数据,用于后续任务,同时运用Kinect DK深度相机采集真实数据作为模型训练标签;
步骤2:通过改进PointNet神经网络形成一个人体关键点重构网络,对每一帧点云数据进行重构,形成人体关键点模型;具体包括:
21)从步骤1中得到每帧分簇后的点云数据,计算每簇数据的质心位置,记录为();
22)构建神经网络,在经典点云分类分割网络 PointNet的基础上添加CNN及注意力机制,即PointNet+AM+CNN;CNN网络共4层,前两层分别是通道数为16和32的二维卷积层,后两层是两个包含512个神经元的全连接层;
23)训练网络模型;收集步骤1中每帧分簇后数据,结合Kinect DK深度相机采集的真实数据,形成关键点重构数据集;关键点重构模型最后输出一个长度为25的预测序列[() , ( ), … , ( ), … , ()];其中( )表示人体第i个关键点的坐标预测值;
步骤3:收集步骤2中生成连续帧人体关键点数据,构建时序卷积网络TCN,输入关键点数据实现行为识别;具体包括:
31)首先设置簇检测阈值 ,结合步骤21)中计算的质心位置,计算相邻帧数据簇之间的质心距离,实现每簇数据的连续追踪,也就是提取每个目标的连续运动数据;
(3)
上式用于计算相邻两帧之间簇间距离,小于检测阈值 则判定为同一簇数据即同一人的数据;
32)构建时序卷积神经网络TCN,主体为8层残差结构,每个残差结构由两个卷积核为5*
5的膨胀卷积模块顺序执行,膨胀因子为 ,其中i为当前残差结构层数;在每个残差结构中还有一个卷积核为3*3的1维卷积层,进行时间上的约束,加强前后数据之间的联系;残差结构后有三个全连接层,用于实现最后的分类任务;
33)训练TCN模型,一共迭代100次,基础学习率为0.001,每隔5次学习率下降10倍,每次迭代结束保存一次模型,选择分类准确率最高的模型作为分类模型;模型最后输出动作的分类结果。
2.如权利要求1所述的基于毫米波雷达点云特征的行为识别方法,其特征在于,步骤1具体包括:
11)将毫米波雷达设备部署在视野较好的位置,根据需求配置毫米波雷达FMCW的相关参数,采集多人运动时的点云数据;
12)对点云原始数据执行坐标系转换任务:
(1)
其中 ( ) 表示雷达采集的原始点云数据, 分别表示雷达设备相对现实坐标系坐标原点的对应坐标轴位置差;( )表示经坐标转换任务后的点云位置数据;
13)对于多人活动的场景,运用DBSCAN聚类算法对处理后的点云数据进行分簇操作: (2)
预设半径Eps和最小密度阈值MinPts,对多人场景下点云数据进行聚类操作,得到点云分簇数据即单人数据;
14)部署雷达设备的同时需要运用微软Kinect DK深度相机采集人体运动状态下真实关键点数据[( ) , ( ) , … , (), … , ( )],分别表示25个人体关键
点坐标真实参考值,作为步骤2中模型训练的标签。
3.基于毫米波雷达点云特征的行为识别装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1‑2中任一项所述的基于毫米波雷达点云特征的行为识别方法方法。
4.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑2中任一项所述的基于毫米波雷达点云特征的行为识别方法。