利索能及
我要发布
收藏
专利号: 2022103132149
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力机制特征融合与位置无关的人体动作识别系统,其特征在于,包括以下步骤:步骤一:采集CSI动作样本数据并进行预处理:

步骤1.1:选取室内空间的一块矩形区域,在所述矩形区域内以间距为L选取n个训练位置标定点,同时在所述矩形区域内随机选取m个测试位置标定点;

步骤1.2:在所述矩形区域外使用路由器作为WIFI信号发送设备,记为AP设备,并使用网卡作为接收设备,记为RP设备;

步骤1.3:在第i个训练位置标定点处使用所述RP设备以采样速率为f采集AP设备发送的不同信道上的k个WiFi信号,从而构建第i个训练位置标定点处的CSI动作数据;i=1,

2,…,n;

步骤1.4:提取所述第i个训练位置标定点处的CSI动作数据中的幅度信息,得到第i个训练位置标定点处的幅值数据Ai;

步骤1.5:利用Hampel滤波器剔除幅值数据Ai中异常数据,再利用离散小波变换法去除高频噪声,从而得到第i训练位置标定点处预处理后的CSI动作样本数据Bi,记该CSI动作样本数据的动作类别为Oi;

步骤二:构建以卷积神经网络和双向门控神经单元为基础的双流网络模型,包括:特征提取层、特征融合层以及预测层;将所述预处理后的动作样本数据Bi输入到所述双流网络模型中;

步骤2.1:所述特征提取层包括两个并行的模块,包括:卷积神经网络模块和双向门控神经单元模块;

步骤2.1.1:所述卷积神经网络模块由D个卷积块以及一个卷积注意力模块组成;将D个卷积块分别记为Conv1…,Convd…ConvD;其中,Convd表示第d级卷积块,d=1,2,...,D;

所述第d级卷积块Convd包括:J个二维卷积核,J个批量归一化层,J个池化层以及J个ReLU激活函数层;其,中第j个二维卷积核的大小为Sj;j=1,2,...,J;

当d=1时,所述预处理后的CSI动作样本数据Bi输入特征提取层中,并经过卷积神经网络模块的第d级卷积块Convd后输出特征图Mapi,d;

当d=2,3,...,D时,将特征图Mapi,d‑1作为第d级卷积块Convd的输入,从而得到相应的输出特征图Mapi,d;从而由第D级卷积块ConvD得到最终输出的特征图Mapi,D;

所述卷积注意力模块包括:通道注意力模块以及空间注意力模块;其中,通道注意力模块包括:第一最大池化层、第一平均池化层以及全连接层MLP;空间注意力模块包括:第二最大池化层、第二平均池化层以及卷积层conv;

最终输出的特征图Mapi,D输入到所述通道注意力模块中,并经过第一最大池化层的处理后输出特征图MAPi,max,再经过第一平均池化层的处理后输出特征图MAPi,avg;所述特征图MAPi,max以及MAPi,avg作为全连接层MAPi,avg的输入;并由全连接层MLP输出特征图MAPi,channel并作为通道注意力模块最终的输出;

最终输出的特征图MAPi,channel作为空间注意力模块的输入,并经过第二最大池化层的处理后输出特征图MAP′i,max,再经过第二平均池化层的处理后输出特征图MAP′i,avg;所述特征图MAP′i,max以及MAP′i,avg通过卷积层conv进行合并后得到最终输出的特征图Hi,S;

步骤2.1.2:所述双向门控神经单元模块包括:X层双向门控神经单元以及自注意力机制模块;将X层双向门控神经单元分别记为BGRU1,...,BGRUx,...,BGRUX;其中,BGRUx表示第x层双向门控神经单元;每一层隐藏神经元的个数为G;

当x=1时,所述预处理后的CSI动作样本数据Bi输入第x层双向门控神经单元BGRUx中进行处理,并输出特征向量Resulti,x;

当x=2,3,...,X时;所述特征向量Resulti,x‑1输入到第x层双向门控神经单元BGRUx中,并得到相应输出特征向量Resulti,x;从而得到由第X层双向门控神经单元BGRUX输出的特征向量Resulti,X;

G

所述自注意力机制模块将所述特征向量Resulti,X切割为e个特征向量hi,y∈R,y=1,

2,...,e;其中,hi,y表示第y个向量切片;

当y=1时,所述自注意力机制模块根据式(1)计算第y个向量切片hi,y的重要程度分数scorei,y;

T

scorcei,y=Φ(Whi,y+b)             (1)T

式(1)中,Φ表示tanh函数,W 和b分别为网络训练过程中当前得到的权重向量和偏置值;

所述自注意力机制模块对所述第y个向量切片hi,y的重要程度分数scorei,y进行归一化处理,从而得到第y个向量切片hi,y的比重值αi,y;

所述自注意力机制模块根据式(2)计算最终的输出结果Hi,t:

Hi,t=αi,y×hi,y                 (2)步骤2.2:所述特征融合层包括:全连接块fc,注意力机制融合块AF;

设置所述全连接块fc的神经元个数为dim,将所述特征图Hi,S和输出结果Hi,t作为全连接块fc的输入,并相应得到输出向量为{Fi,l|l=1,2},Fi,l表示第l个输出向量;

所述注意力机制融合块AF根据式(3)计算所述第l个输出向量Fi,l的融合比重ωi,afl,l=1,2:ωafl=softmax(Fi,l)            (3)所述注意力机制融合块AF根据式(4)得到最终的特征向量Fi,final:步骤2.3:所述预测层包括一个全连接层p,设置全连接层p的神经元个数为b;

所述特征向量Fifinal经过所述预测层后输出向量 其中,r为总的动作类别数,r=

1,2,...,R;并使用softmax函数处理输出向量 获取最大预测概率Pi并作为最终的分类结果;

步骤3:设计网络参数,对双流网络模型进行训练,并使用式(5)建立反向传播损失函数Loss:其中,Fi,r=[Fi,1,…,Fi,R]表示预处理后的CSI动作样本数据Bi的概率分布,Fi,R表示CSI动作样本数据Bi属于第R类动作的概率;F′i,r=[F′i,1,…,F′i,R]示预处理后的CSI动作样本数据Bi的动作类别标签;F′i,R表示CSI动作样本数据Bi是否为第R类动作标签;

步骤4:利用训练好的双流网络模型对经过预处理的动作测试数据集进行分类,从而得到最终的分类结果。