1.一种基于联邦学习的交通推荐系统分布式训练方法,其特征在于,所述方法包括:基于由具备异质数据样本的车辆与边缘服务器构成的端‑边协同的车联网系统下,各边缘服务器分别与各预设区域一一对应,针对预设区域中各车辆上交通推荐系统对应的深度学习模型训练任务,端‑边协同的车联网系统执行以下步骤:步骤A:针对每个车辆,利用香农熵生成车辆上本地数据样本的标签分布,利用车辆上本地数据样本对初始本地模型进行本地训练,获取训练后得到的本地模型参数以及本地模型最后一个卷积层输出的所有特征图;根据特征图利用稀疏度向量生成车辆上本地数据样本的特征分布;并将车辆上本地数据样本的标签分布、特征分布和本地模型参数上传给对应的边缘服务器;
步骤B:边缘服务器获取对应区域内各车辆上本地数据样本的标签分布和特征分布,基于各车辆上本地数据样本的标签分布的相似性和特征分布的相似性为每个车辆选择合作者,并将当前全局更新中合作者最新的本地模型参数发送给对应的车辆;
步骤C:针对每个车辆,获取当前全局更新中合作者最新的本地模型参数,计算各合作者的聚合权重,根据该车辆的本地模型参数、所有合作者的最新的本地模型参数和聚合权重进行聚合得到全局更新后的本地模型参数,并利用车辆上本地数据样本对全局更新后的本地模型进行本地训练,获取训练后得到的本地模型参数以及本地模型最后一个卷积层输出的所有特征图,根据特征图利用稀疏度向量生成车辆上本地数据样本的特征分布;并将该车辆上本地数据样本的特征分布和本地模型参数上传至边缘服务器进行更新;
步骤D:重复步骤B至步骤C,直至全局损失函数收敛;
步骤C中,计算各合作者的聚合权重,包括:
利用聚合权重的近似计算公式计算车辆 的所有合作者对应的聚合权重,再对计算得到的车辆 的所有合作者对应的聚合权重进行归一化处理,作为最终的各合作者对应的聚合权重;其中聚合权重的近似计算公式为:;
式中, 是计算所得的进行归一化之前的聚合权重,是全局更新的学习率, 是车辆在第轮全局更新中利用本地数据样本进行预测所得到的损失; 是合作者 在第轮全局更新中利用车辆 上本地数据样本进行预测所得到的损失,为车辆 在第轮全局更新中的合作者数量, 为车辆 在第 轮全局更新前的本地模型参数, 为车辆 在第轮全局更新中利用本地数据样本进行预测所得到的损失;
;
式中,为第轮全局更新中车辆 的合作者 对应的聚合权重; 表示如果聚合权重的值为负数,则相应合作者的本地模型参数将不会参与本次聚合。
2.根据权利要求1所述的方法,其特征在于,步骤A中,利用香农熵生成车辆上本地数据样本的标签分布,包括:针对预设区域内第个车辆 ,车辆 上本地数据样本数量为 ,样本所涉及类别数量为,属于第 个类别的样本数量为 ,根据香农熵,该车辆上本地数据样本的标签分布 为:。
3.根据权利要求1所述的方法,其特征在于,步骤A、步骤C中,根据特征图利用稀疏度向量生成车辆上本地数据样本的特征分布,包括:针对车辆 中本地模型最后一个卷积层输出的特征图, 表示所有特征图第 个通道中
0元素数量的总和, 表示所有特征图第 个通道中所有元素数量的总和,则第 个通道的稀疏度表示为 ;根据特征图中各通道的稀疏度,构造车辆 的稀疏度向量,作为车辆 上本地数据样本的特征分布 :;
式中,表示每个特征的通道数量。
4.根据权利要求1所述的方法,其特征在于,步骤B中,基于各车辆上本地数据样本的标签分布的相似性和特征分布的相似性为每个车辆选择合作者,包括:基于各车辆上本地数据样本的标签分布的相似性,从对应区域的所有车辆为每个车辆筛选出初步合作者;
在每轮全局更新的初始阶段,基于各车辆上本地数据样本的特征分布的相似性,从初步合作者中为每个车辆选择合作者。
5.根据权利要求4所述的方法,其特征在于,基于各车辆上本地数据样本的标签分布的相似性,从对应区域的所有车辆为每个车辆筛选出初步合作者,包括:针对车辆 ,基于下式从车辆 对应区域的所有车辆中筛选出初步合作者:;
式中,为第一阈值,、分别表示第、j个车辆上本地数据样本的标签分布,j≠i。
6.根据权利要求4所述的方法,其特征在于,在每轮全局更新的初始阶段,基于各车辆上本地数据样本的特征分布的相似性,从初步合作者中为每个车辆选择合作者,包括:针对车辆 ,基于下式从初步合作者中选择最终的合作者:
;
式中,为第二阈值,j≠i, 表示欧氏距离,、分别表示第、j个车辆上本地数据样本的特征分布。
7.根据权利要求1所述的方法,其特征在于,步骤C中,根据该车辆的本地模型参数、当前全局更新中所有合作者最新的本地模型参数和聚合权重进行聚合得到全局更新后的本地模型参数,包括:针对车辆 ,在第轮全局更新中,本地模型参数的聚合公式为:
;
式中, 为车辆 在第轮全局更新后的本地模型参数,为车辆 在第轮全局更新前的本地模型参数,为合作者 在第轮全局更新前的本地模型参数,为车辆 在第轮全局更新中的合作者数量,为第 轮全局更新中车辆 的合作者 对应的聚合权重; 是车辆在第轮全局更新中利用本地数据样本进行预测所得到的损失; 是合作者 在第轮全局更新中利用车辆 上本地数据样本进行预测所得到的损失。
8.根据权利要求1所述的方法,其特征在于,步骤C中,利用车辆上本地数据样本对全局更新后的本地模型进行本地训练,包括:利用车辆上本地数据样本对全局更新后的本地模型进行本地训练过程中,本地训练的损失函数 采用交叉熵损失;
;
式中,是每批样本的样本数量,与 分别是某批次中第 个样本的真实标签与预测标签,训练过程中,采用小批量梯度下降法对本地模型参数进行更新:;
式中 车辆 在第轮本地训练后的本地模型参数,同时为车辆 在第 轮全局更新前的本地模型参数; 为车辆 在第轮全局更新后的本地模型参数,是本地训练的学习率,表示车辆 在第轮本地训练的损失 对于车辆 在第轮全局更新后的本地模型参数 的偏导数。
9.根据权利要求1所述的方法,其特征在于,步骤D中,全局损失函数 为:;
式中,表示预设区域内所有车辆上的数据样本总数,是车辆总数,为车辆 上本地数据样本数量, 为车辆 在第轮全局更新后的本地模型参数, 表示车辆 在第轮本地训练的损失。