利索能及
我要发布
收藏
专利号: 2025100487896
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于自适应个性化联邦学习的车联网隐私保护轨迹预测模型构建方法,其特征在于,所述方法包括以下步骤:步骤1、将真实场景车辆轨迹数据集按非独立同分布划分,模拟车联网中本地数据异构和不平衡现象,将包含两个城市的轨迹数据集,按城市划分为两组异构数据集,并将两组数据异构的数据分别按狄利克雷分布分配到相应的本地车辆;

步骤2、将参与联邦学习的S辆车作为本地车辆,对S辆本地车辆构建S个基于Transformer网络的结构相同局部模型,并利用每个本地车辆拥有的本地数据训练各自的局部模型,得到各局部模型的梯度数据,同时更新局部模型;

步骤3、将各本地车辆训练得到的梯度数据通过路边单元上传至服务器层,服务器层先对所有上传的梯度数据进行聚合,然后根据联邦自适应优化算法,计算聚合梯度的一阶和二阶动量估计,通过动量和梯度平方的指数加权平均更新全局模型;

步骤4、通过路边单元进行广播以下发更新后的全局模型,本地车辆更新个性化局部模型分为两个阶段,在联邦训练轮次小于10,局部模型所有参数都参与联邦训练并更新所有局部模型参数,在联邦训练轮次大于等于10,局部模型采用基础编码层+个性化解码层的方法,更新局部参数模型但保留最后一层解码层参数以训练个性化局部模型;

步骤5、重复步骤2至4设定次数,以得到最终的全局模型和个性化局部模型,利用验证集对局部模型进行验证。

2.如权利要求1所述的基于自适应个性化联邦学习的车联网隐私保护轨迹预测模型构建方法,其特征在于,所述步骤1的过程如下:步骤1.1、轨迹数据基本设定

共有S辆本地车辆参与联邦训练,对于每个本地车辆c拥有mc条本地轨迹数据,本地数据集表示为 其中x和y分别表示h个时间步的历史轨迹x=[x′‑h+1,x′‑h+2,...,x′0]和f个时间步的未来预测轨迹y=[y1′,y′2,...,y′f];对于参与联邦学习的总数据集表示为 其中总数据集D=∪c∈SDc由S个本地数据集构成,为总数据集大小;

步骤1.2、非独立同分布数据构成

设置本地车辆的数据量服从如式(1)所示的狄利克雷分布,其中α是超参数;

3.如权利要求1或2所述的基于自适应个性化联邦学习的车联网隐私保护轨迹预测模型构建方法,其特征在于,所述的步骤2的过程如下:步骤2.1、构建局部模型

将参与联邦学习的N辆车作为本地车辆,构建结构相同的S个局部模型和唯一的全局模型;采用基于图和Transformer网络的HiVT模型作为基准模型,HiVT是一种集中式、轻量级、基于图的运动预测模型;该基准模型HiVT包括局部编码器、全局交互模块和解码器;对本地车辆c的局部模型如式(2)所示;

HiVT模型的损失函数分为回归损失和分类损失,用于优化未来轨迹的预测误差和多模态预测模式选择的正确性;HiVT模型使用了Laplace负对数似然损失作为回归损失来计算预测位置和真实位置的误差,HiVT回归损失如式(3)所示;

式(3)中N是智能体的数量,H是预测的未来时间步数, 表示第i个智能体在第t个时间步的真实位置, 是模型预测的未来轨迹位置的均值, 是模型预测的概率,P表示预测的轨迹位置服从的概率分布,这里使用的是Laplace分布;

分类损失用于处理模型的多模态预测;分类损失的目标是通过学习使得最接近真实轨迹的预测模式具有最高的概率,HiVT分类损失如式(4)所示;

式(4)中F是多模态轨迹预测的总轨迹条数,N是智能体的总数量, 是真实轨迹与每个模式的预测轨迹之间的L2范数,si是智能体的有效时间步, 是模型为第f种可能性预测的概率;

HiVT模型的总体损失函数如式(5)所示;

步骤2.2、局部模型训练及梯度上传

具有S个局部模型参与联邦训练,每个本地车辆c有一个本地数据集其中每个本地数据集中的mc个样本来自不同的数据分布

每个本地车辆c利用本地数据集Dc,训练局部模型 其中局部模型的优化目标如式(6)所示;

车辆层利用本地轨迹数据集对局部模型进行K轮本地训练;对于每个本地车辆c的局部模型参数θc,假设访问局部模型的真实梯度 近似为无偏随机梯度gc(θc);局部模型在自己的损失函数上运行SGD以更新局部模型参数;本地第k轮训练过程的梯度计算公式如为式(7)所示;

本地车辆c局部模型在第k轮本地训练的参数更新算法如式(8)所示,其中η1表示本地训练的学习率;

计算伪梯度参数如式(9)所示;

式(9)中 表示局部模型 在t∈T轮全局聚合中经过K轮本地训练后的局部模型参数, 表示本地训练前的局部模型参数;局部模型更新后的伪梯度参数 通过路边单元RSU上传至服务器层,用以联邦聚合并更新全局模型。

4.如权利要求1或2所述的基于自适应个性化联邦学习的车联网隐私保护轨迹预测模型构建方法,其特征在于,所述的步骤3的过程如下:步骤3.1、梯度聚合

联邦学习的全局模型为 其优化目标如式(10)所示;

针对非独立同分布数据上的FedAvg,如果使用全梯度,学习率η也必须衰减,否则,解将远离最优解Ω(η);对于轨迹预测实际场景可能存在部分车辆断联以及车辆轨迹数据的非独立同分布情况,要求保证模型收敛并且提升收敛速度,那么联邦优化算法是被需要的;

全局模型的基础权重参数在服务器层迭代更新,首先,S个局部模型更新的伪梯度参数集合 经过RSU层传输至服务器层并通过自适应联邦优化算法更新全局模型;由于每个本地车辆的数据量不同,因此全局聚合模块通过加权平均聚合模型伪梯度参数,公式如式(11)所示;接下来对参数聚合后的伪梯度进行自适应的联邦优化,以更新全局模型权重参数;

式(10)中 其中 表示所有局部模型参数

的集合,l(·,·)表示所有局部模型共同的损失函数

式(11)中 为本地车辆c在t轮更新的伪梯度参数,S为参与联邦训练的所有本地车辆数量,M为所有参与联邦训练的总数据量, 为联邦聚合后的全局伪梯度参数;

步骤3.2、联邦自适应优化

结合动量和自适应学习率算法,通过自适应地调整每个参数的学习率提高模型的训练效果;将ADAM优化的思想应用到联邦学习,自适应调节联邦优化,提升轨迹预测联邦学习收敛效率;

使用指数加权移动平均值来估算梯度的一阶动量和二次矩,首先,更新一阶矩变量,使用指数加权移动平均值来计算一阶矩估计,梯度的加权平均如式(12)所示;其次,更新二阶矩变量,使用指数加权移动平均值计算二阶矩估计,梯度平方的指数加权平均如式(13)所示;

mt=β1mt‑1+(1‑β1)Δt (12)

式(12)(13)中β1与β2是非负加权参数,其中设置β1=0.9和β2=0.999,初始值设置m0=v 

0=0;

最后使用计算的一阶和二阶矩估计更新全局模型参数如式(14)所示;

式(14)中学习率η为超参数是全局模型自适应更新的学习步长,来解决收敛问题。

5.如权利要求1或2所述的基于自适应个性化联邦学习的车联网隐私保护轨迹预测模型构建方法,其特征在于,所述的步骤4的过程如下:步骤4.1、局部模型个性化更新

针对encoder‑decoder结构的轨迹预测模型,采用共享encoder模块参数、个性化部分decoder模块参数的方式实现个性化联邦学习;

个性化更新采用个性化层的方法,其中所有的车辆模型共享相同的encoder参数,并具有构成decoder模块的独特个性化层;对于S的局部模型,每个局部模型有KB个共享权重的基础层和KP层个性化层,本发明将局部模型参数抽象成由KB个共享权重的基础层和KP层个性化层组成,其中本地车辆c的局部模型参数表示为θc=(WB,WP);其中,将基础层权重矩阵指定为 并将个性化层权重矩阵指定为本地车辆c的个性化模型可以表示为 用 表示在本地车辆c上的本地数据对应的联合分布,接下来更新车联网轨迹预测个性化联邦学习的学习目标;设置的学习目标是最小化平均个性化总体损失函数如式(15)所示:步骤4.2、两阶段更新

第一阶段中,局部模型的所有参数都参与联邦训练,各个局部模型在本地训练后,将模型参数上传到中央服务器;服务器对收到的参数进行聚合,形成一个更新的全局模型掌握更多的数据特征;局部模型受到服务器下发的全局模型后,对局部模型所有参数进行更新;

第一阶段局部模型参数更新如式(16)所示;

θc={WB,WP} (16)

式(14)中WB和WP分别表示全局模型一样的基础层参数和个性化层参数;

第二阶段采用一个基础编码层加上个性化解码层的模型结构;局部模型的基础编码层的参数保持与全局模型一致,正常进行全局更新;对于个性化解码层仅进行本地训练,各个局部模型在自己的特定数据集上微调解码层参数,以适应本地的交通场景和数据特征,以保持模型对全局特征理解的同时,提升局部模型在特定交通场景下的预测性能;第二阶段局部模型参数更新如式(17)所示;

θc={WB,WP,c} (17)

式(17)中WB表示全局模型一样的基础层参数,WP,c表示局部模型的个性化参数。