利索能及
我要发布
收藏
专利号: 2021111506958
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法,其特征在于:具体包含以下步骤:

步骤1,FMCW毫米波雷达系统初始化,配置手势采样的参数,包括收发天线对、采样点数、采样时间;

步骤2,FMCW毫米波雷达平台对不同手势动作进行采样,获得原始手势回波数据S(m)=[S1(m),S2(m),…,SN(m)],其中m,N分别代表毫米波雷达平台设置的采样点数和通道数,原始手势回波信号S(m)由采样点数m和通道数N构成二维矩阵;

步骤3,对原始手势回波数据S(m)进行截取筛选,雷达回波信号往往会有较强的杂波,例如静态物体反射、墙体多径,根据手势识别的特性设定相应的手势范围0‑1m,使范围内的手势信号得到显现,范围外的杂波得到剔除,获得有效手势数据SH(m);

步骤4,对有效手势数据SH(m)进行动态信号处理,首先对信号进行杂波抑制,防止噪声和杂波对手势信号提取的干扰,然后在距离‑角度维上做傅里叶变换FFT形成距离‑角度图RAI,在距离‑速度维上做傅里叶变换FFT形成距离‑多普勒图RDI;

步骤5,基于DBSCAN密度聚类算法对RAI中的雷达目标点迹进行处理,选取点最多的一个簇,也就是手势轨迹的主体,去掉了无用点,同时减少数据量;

步骤6,将RDI和DBSCAN处理完的RAI进行尺度变换,缩放得到不同尺寸的图像RDI’、RAI’,在CNN中有不同的卷积层,将不同尺寸的特征图输入到不同的卷积层中,实现多尺度特征提取;

步骤7,RDI和RAI在经过CNN提取特征后得到了两个都为1*64的特征向量记为FRDI和FRAI,将FRDI和FRAI进行特征融合,形成一个2*64的新特征融合图Ffusion;

步骤8,Ffusion作为长短期记忆网络LSTM的输入,利用其记忆单元建立手势序列前后信息之间的联系,保留了融合特征在每一步之间的联系,生成最终的时序特征向量T,大小为

1*64;

步骤9,LSTM提取的时序特征向量T输出到全连接层,映射到数据样本标记空间D;

步骤10,最后通过Softmax函数得到概率p,根据最大概率p得到多尺度特征融合后对应的手势类别。

2.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法,其特征在于:步骤2中,通过FMCW毫米波雷达采集动态手势回波原始信号,设每个调频连续脉冲chirp的周期为t,S为频率增长斜率,τ为信号从雷达到手势然后返回的延迟,f为雷达的载波频率;雷达的发射信号X1表示为:X1=sin(2πft+πSt·t)接收信号X2为:

2

X2=sin[2πf(t‑τ)+πS(t‑τ) ]经过混频器和低通滤波器后,输出的中频信号X为:对上式进行一维傅里叶变换得到中频信号的频率为fIF,设手势目标到雷达的距离为d,光速为c,由公式

得所探测目标的距离d为:

上述是对一个线性调频脉冲chirp的处理过程,对连续多个chirp进行相同的处理然后拼接成一帧数据。

3.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法,其特征在于:步骤4中,假设一个物体以v的速度运动,为了识别运动目标,雷达以Tc为间隔连续发送两个chrip信号,则到达接收端两个chrip信号的相位差ω与移动速度v相关为:其中λ为调频信号的波长;

距离‑多普勒图RDI即可通过以下处理得到:通过FFT处理,产生一个具有不同的分离峰值的频谱,每个峰值表示在特定距离处存在物体;进一步取每个有效数据同一距离下的相位做FFT,在同一距离下区分速度不同的多个目标;则经过做相位FFT后,得到每个目标的相位差ω1、ω2,进而得到速度不同的目标,此时得到手势特征图,即距离‑多普勒图RDI。

4.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法,其特征在于:步骤4中,利用FMCW毫米波雷达的接收天线中两两相邻之间的相位差求和,然后再平均;即由:

得相位差为:

故根据上式的相位差算出目标的角度:其中l为天线之间的距离;

得到了角度估计,最后只取速度不为0的手势点为有效点,对于连续多帧的雷达数据处理后,得到一个完整动态手势的轨迹图,即距离‑角度图RAI。

5.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法,其特征在于:步骤6中,对RDI和处理过的RAI进行多尺度的缩放,将原始尺寸大小的64*64缩小至32*32。

6.根据权利要求1所述的一种基于FMCW毫米波雷达的多尺度特征融合手势识别方法,其特征在于:步骤8中,每一步的特征信息通过遗忘门ft决定从单元状态中去除Ct‑1的部分信息,再通过输入门it决定在单元状态中存储输入的信息Ct,如下所示:其中,σ(·)表示sigmoid函数,Wf、Wi和Wc是LSTM单元中的权重,bf、bi和bc是对应的偏置;

最后,将输入门的结果通过输出门得到隐层状态ht和输出信息ot,如下所示: