1.一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，包括以下步骤：S1、客户端模型训练：客户端本地数据经第一本地模型处理后，输出预测数据，第一本地模型处理过程为客户端本地数据依次经过卷积处理、池化处理、归一化处理、非线性处理、多头自注意力处理、全局池化处理；

客户端的生成器模型对客户端本地数据进行处理，生成第一增强数据；

基于生成的第一增强数据、本地数据标签、生成器模型参数中的Logits向量、客户端数量、第一本地模型参数，得到客户端生成器模型参数的最小目标函数，得到优化后的生成器模型参数，将优化后的生成器模型参数上传至服务器；

S2、构建全局生成器模型：服务器对所有客户端上传的生成器模型参数进行求和、引入高斯噪声，进行平均化处理，得到全局生成器模型参数，将得到的全局生成器模型参数下发至客户端；

S3、无蒸馏训练：基于接收的全局生成器模型参数，客户端的生成器模型进行更新，得到更新后的生成器模型，更新后的生成器模型对客户端本地数据进行处理后得到第二增强数据，使用第二增强数据对第一本地模型进行训练，得到第二本地模型，作为学生模型；

对第二本地模型进行微调，微调过程为用第一本地模型参数减去学习率与最小化损失函数梯度的乘积，得到微调后的第二本地模型参数，获取第二本地模型对应每个本地数据标签的Logits向量，进行平均后得到平均Logits向量，上传至服务器；

S4、蒸馏训练：服务器接收所有客户端的平均Logits向量，针对某一个客户端，将除此客户端外的其他客户端的所有平均Logits向量求和后，再除以客户端总数量，得到此客户端的教师模型，将教师模型发送此客户端；

客户端接收教师模型，进行蒸馏训练，更新第二本地模型参数；

S5、模型优化：基于学生模型损失、教师模型损失、正则权重参数、学生模型损失与教师模型损失之间的差异度，计算联合损失函数，当联合损失函数满足预设条件时，结束优化。

2.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S2中得到全局生成器模型，对应公式为：，

其中， 是全局生成器模型参数，m是客户端，C是客户端数量， 是客户端生成器模型参数，n是高斯噪声。

3.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S3中微调过程为用第一本地模型参数减去学习率与最小化损失函数梯度的乘积，得到微调后的第二本地模型参数，用公式表示为：，

其中， 是最小化损失函数梯度， 是无蒸馏训练时第二本地模型的输出， 是第二本地模型的输入， 是学习率， 是微调后的第二本地模型参数，是第一本地模型参数, m是客户端。

4.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S4中针对某一个客户端，将除此客户端外的其他客户端的所有平均Logits向量求和后，再除以客户端总数量，得到此客户端的教师模型，用公式表示为：，

其中， 是客户端 m的教师模型，是客户端数量， 是所有客户端的平均Logits向量之和， 是客户端m的平均Logits向量, m是客户端。

5.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S3中无蒸馏训练和S4中蒸馏训练，具体操作为：，

m

其中，t是训练轮数, m是客户端，logits 是客户端m输出的Logits向量求和，为学生模型； 是客户端 m的教师模型。

6.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S4中更新第二本地模型参数，用公式表示为：，

其中， 是更新后的第二本地模型参数， 是更新前的第二本地模型参数，m是客户端, 是设置的学习率， 是最小化损失函数梯度， 是蒸馏训练时第二本地模型的输出， 为教师模型的输入。

7.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S5中基于学生模型损失、教师模型损失、正则权重参数、学生模型损失与教师模型损失之间的差异度，计算联合损失函数，具体为：，

其中， 是优化后的联合损失函数， 是学生模型损失， 是教师模型损失，是学生模型损失的权重参数， 是教师模型损失的权重参数； 是L2正则项，其中为正则项权重参数， 为L2范数；是训练轮数，m是客户端。

8.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S1中非线性处理，用公式表示为：，

其中，=0.01，控制负半轴的斜率； 是第一本地模型输入， 是第一本地模型输出。

9.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S1中多头自注意力处理，用公式表示为：，

其中，Qi是多头自注意力处理中输入矩阵映射投影后的第i组查询矩阵，Ki是第i组键矩阵， 是第i组键矩阵的转置，Vi是第i组值矩阵， 是输入矩阵的向量维度。

10.根据权利要求1所述的一种应对物联网隐私保护的联邦知识蒸馏方法，其特征在于，所述S1中基于生成的第一增强数据、本地数据标签、生成器模型参数中的Logits向量、客户端数量、第一本地模型参数，得到客户端生成器模型参数的最小目标函数，得到优化后的生成器模型参数，用公式表示为：，

其中， 是客户端生成器模型参数， 是最小目标函数，z是增强数据的表征，y是本地数据标签， 是测试集标签的先验分布， 是目标标签的后验分布，l是非负凸损失函数， 是激活函数，m是客户端, 是生成器模型参数中的Logits向量，C是客户端数量， 是第一本地模型参数。