利索能及
我要发布
收藏
专利号: 2022113104592
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于联邦学习的注意力机制聚合优化系统,其特征在于:由中央服务器模块和客户端模块构成;

其中中央服务器模块包括LW‑CNN、HDAM、DBSCAN三个部分;

客户端模块和中央服务器模块构成AMAOP模块;

AMAOP中:首先在客户端模块处输入参与训练的k个用户的数据模型参数,客户端模块通过使用客户更新函数Clientpdate(k,Wt)对于模型进行本地训练生成共享模型;客户端再将训练好的模型上传至中央服务器端的优化函数ServerOptimization 处进行统一聚合训练;共享模型分别通过中央服务器端的LW‑CNN、HDAM和DBSCAN模块进行参数的迭代更新;更新后的模型参数将会被发送回客户端作为下一轮的初始参数参与联邦学习的训练流程中;

LW‑CNN中:首先通过一维卷积层对于输入的一维数据进行卷积操作,输入为196个卷积核,输出为16个卷积核,并且在一维卷积层中使用的激活函数为relu函数;然后通过一维最大池化层,其中池化窗口的大小pool_size为4;然后通过卷平层实现将多维输入一维化,实现从卷积层到全连接层的过渡,并且卷平层不会影响实验批处理的大小;最后通过两层全连接层和dropout层,其中第一层全连接层使用relu作为激活函数,第二层全连接层使用softmax作为激活函数;全连接层在整个网络中起到了特征提取的作用,能够将输入的特征表示映射到样本的标记空间;使用两层的全连接层,一层作为输入层,一层作为输出层,其中输入层输入1024个神经元;在两层全连接层中间加入一层dropout层能够防止网络过拟合,并且能够提升模型的泛化能力;

HDAM包括深度可分离卷积模块和注意力机制模块;其中深度可分离卷积模块由下采样和深度可分离卷积组成,深度可分离卷积包括逐点卷积和深度卷积;注意力机制模块由通道注意力模块、空间注意力模块、上采样组成;输入的模块先通过下采样操作,后通过深度可分离卷积提取特征;下采样操作是深度神经网络中常用于增加感受野并减少计算量的方法;深度可分离卷积分为逐点卷积和深度卷积,深度卷积用来处理长宽方向的空间信息,逐点卷积用来处理通道方向的信息;

通道注意力模块获取不同通道在总体模型中所占的权重,增强具体特征之间的表达;

首先对于输入的模型参数特征W使用最大池化和平均池化操作提取权重,再将权重值送入共享MLP多层感知中,得到两个不同的描述符:Wmax和Wavg;将这两个特征值进行特征相加后输入到sigmoid激活函数中生成通道注意力特征Wc;最后将最初的模型参数特征W与得到的通道注意力特征Wc进行特征相乘,得到通道注意力模块输出的模型参数特征W’;用公式表示如下:Wmax=MLP(MaxPool(W))    (1)

Wavg=MLP(AvgPool(W))    (2)

Wc=Wmax+Wavg     (3)

W′=σ(Wc)*W        (4)

其中Wmax表示为最大池化后进行MLP后的特征,Wavg表示平均池化后进行MLP后的特征,Wc表示将两个输出特征进行加权后得到的特征,W表示最初输入的模型参数特征,W’表示最终通过通道注意力模块后输出的模型参数特征;

空间注意力模块用于获取多维空间位置信息,突出模型关键特征的位置,增强模型特征的表达能力;在空间注意力模块中,首先输入通道注意力模块训练后的模型参数特征W’,进行最大池化和平均池化提取权重信息,得到两个新的特征;使用3*3的深度可分离卷积将这两个特征值进行拼接,并使用sigmoid激活函数得到空间注意力特征;最后将最初的模型参数特征W’与得到的空间注意力特征进行特征相乘,得到空间注意力模块输出的模型参数特征;用公式表示如下:W′max=MaxPool(W′)    (5)

W′avg=AvgPool(W′)    (6)

Ws=f[W′max,W′avg]    (7)

W″=σ(Ws)*W′    (8)

其中W′max表示为经过最大池化后的模型参数特征,W′avg表示为经过平均池化后的模型参数特征,f[W′max,W′avg]表示为将这两个特征进行深度卷积操作拼接,Ws表示为经过激活函数后的模型参数特征,W”表示为最后通过空间注意力模块后输出的模型参数特征。