1.一种基于多维特征融合的少样本人体动作识别方法,其特点在于,所述方法包括以下步骤:步骤1:搭建毫米波雷达信息数据采集平台,设置雷达参数;
步骤2:人体站在雷达正前方2‑3m处进行七种动作的采集,每个动作持续2‑3秒,利用毫米波雷达将发射信号和接收信号进行混频处理,得到中频信号,并以.bin的文件格式存储到PC端;
步骤3:对上述步骤2中存储的中频信号先进行背景帧差处理,去除噪声,然后进行二维傅里叶变换和三维傅里叶变换得到距离多普勒图和距离方位图,再对距离多普勒图进行速度维投影得到距离‑速度图;
步骤4:将获得的所有距离‑速度谱图和距离‑方位谱图转化为二值图像,降低网络计算量,然后将其分为训练集,验证集和测试集;
步骤5:将训练集中的两种特征图输入双流的残差原型网络中,提取人体动作的微多普勒时间特征和距离‑方位特征并进行融合,然后训练得到一个参数模型,再通过验证集对这个模型进行验证,取最好的模型进行保存;
所述双流残差原型网络相比与原始的原型网络而言,去除了一个卷积块,但是增加了三个残差块;每一流由三个卷积块以及3个残差块构成,其中卷积块是由一个卷积核大小为
3,步长为1的卷积核,一个批处理归一化层、ReLU激活函数以及池大小为2,步长为2的池化层组成,残差层通过将卷积层中的卷积核大小替换成1来形成;残差块则由3个三个卷积层组成,每个卷积层都包括卷积操作,批归一化BN操作和ReLU激活操作;通过卷积神经网络提取图像特征,然后利用自适应平均池化来去除一些不必要的特征,最终得到每个样本的特征向量;
步骤6:将保存的最好模型应用到测试集中,得到最终的人体动作分类结果。
2.根据权利要求1所述的一种基于多维特征融合的少样本人体动作识别方法,其特征在于,所述步骤1中,采用的毫米波数据采集平台为TI公司的IWRI443BOOST和DCA1000EVM,在采集过程中需要设置的参数有:信号帧数、每帧信号啁啾数、每个啁啾信号ADC采样点数、信号起始频率、ADC采样率、调频斜率、发射和接收天线数目。
3.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法,其特征在于,所述步骤2中,人体站在雷达正前方2‑3米处进行7种动作的采集,具体为蹲下、走路、站立、坐下、举手、拳击和鞠躬。
4.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法,其特征在于,所述步骤3中,对数字中频信号进行背景帧差处理和得到人体动作的距离‑多普勒图和距离‑方位图,过程如下:(3.1)首先将所获得的中频信号按照所设的的帧总数进行划分,然后将每一帧的I/Q数据进行帧减技术处理,也就是后一帧减去前一帧,其计算公式为:Dq(n,m)=Yq(n,m)‑Yq‑1(n,m)
其中,Yq(n,m)是第q帧的雷达数据,Yq‑1(n,m)是第q‑1帧的雷达数据,将两帧数据进行减法处理,得到的帧差为Dq(n,m)也就是时间步长q处的校准帧,n、m分别代表快时间轴和慢时间轴上对应的标号;
(3.2)将帧差处理后的每一帧数据都在快时间和慢时间进行加汉明窗,然后做二维傅里叶变换,得到RDM,即距离‑多普勒图;使用RD(i,j,t)表示在第t帧下位于RDM的第i距离门和第j速度门下的信号功率值,然后对RDM进行速度维投影,即i维进行压缩,最终得到所需的微多普勒时频图,对速度维进行投影的公式如下:(3.3)将帧差后的数据再进行三维傅里叶变换,得到距离‑多普勒‑方位信息,然后通过切换视角进行输出,最终得到距离‑方位图。
5.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法,其特征在于,所述步骤4中,将获得的所有彩色微多普勒时频图和距离‑方位图转化为二值图像,这样可以降低网络计算量,然后按照设定的比例划分为训练验证集和测试集。
6.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法,其特征在于,所述步骤5中,测试集数据通过特征提取模块对二值化的微多普勒时频图和距离‑角度图进行特征提取,然后进行特征融合,再计算每类原型的中心向量,进行对比,得到最终的分类结果,过程如下:(5.1)首先将训练集的微多普勒时频图和距离方位图输入到双流残差原型网络中进行训练;
(5.2)然后通过对这些特征向量计算均值得到每个类别的原型μ,其表达式如下所示:
其中μ为类别原型,|S|为样本数量,fθ为特征提取函数,xi为输入样本;
(5.3)未知的样本和获得的原型中心向量通过计算;两者之间的欧氏距离进行比较,未知的样本判为每一个类的概率计算的公式如下:其中x为测试集样本,X为样本x的真实类别,CX为真实类别的原型中心向量,X′为所有可能的类别, 是样本x的特征向量,得到每一类原型的距离,然后选取距离最近的原型中心为最后的分类结果 计算公式如下: