利索能及
我要发布
收藏
专利号: 2024101973581
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向应急通信场景的无人机动态轨迹优化方法,其特征在于,方法包括:添加一种Push的数据主动传输机制对命名数据网络的协议进行扩展,以使当内容发布后由内容生产者直接推送给用户端;

基于命名数据网络构建应急通信场景的业务感知模型,其中业务感知模型是指动态调整无人机轨迹为用户发送的紧急业务提供数据传输服务,其中应急通信场景是指由无人机集合、救援人员设备集合和普通用户设备集合建立的应急通信网络,无人机、救援人员设备和普通用户设备在应急通信网络内均采用命名数据网络的协议进行数据传输;

建立使无人机对用户端的覆盖率和加权业务响应率达到最大,无人机平均能耗达到最小的优化问题,并将所述优化问题表述部分可观察马尔可夫决策过程模型;其中,覆盖率的表达式为: 其中,∪表示或运算,Nu表示普通用户设备的设备数量,Nw表示无人机的设备数量,u表示普通用户设备,w表示无人机,μw,u表示普通用户设备是否在无人机的服务范围内;

加权业务响应率的表达式为:

中,Nd表示救援人员设备的设备数量,fF表示第F个内容,F为内容库所含内容的数量,Df表示内容f的大小,cw,f表示无人机w缓存了内容f,cd,f表示救援人员设备d缓存了内容f,ru,f表示普通用户设备u发送内容的紧急程度,rd,f表示救援人员设备d发送内容的紧急程度, 表示普通用户设备u发送内容f紧急程度所对应的权重系数, 表示救援人员设备d发送内容f紧急程度所对应的权重系数,μw,d表示救援人员设备d是否在无人机w的服务范围内,ζ表示救援人员请求的增益系数;

无人机平均能耗的表达式为: 其中, 表示无人机

传输内容所消耗的能量, 表示无人机做一次轨迹调整并完成数据传输内容所消耗的动力能耗,Ew表示无人机起飞时的总能量;

建立无人机群智能体,利用多智能体深度确定性策略梯度算法以所述部分可观察马尔可夫决策过程模型输出的效用函数对所述无人机群智能体进行训练;

根据训练好的无人机群智能体对本地状态数据进行决策,以调整无人机的飞行轨迹及服务的业务类别。

2.根据权利要求1所述的方法,其特征在于,基于命名数据网络构建应急通信场景的业务感知模型,包括:在兴趣包和数据包中增加请求信息,其中请求信息包括请求者身份和业务类别,请求者身份包括普通用户设备或救援人员设备,业务类别包括紧急业务、实时业务或非实时业务;

为紧急业务、实时业务和非实时业务划分不同权重系数,分别为λ1、λ2和λ3,且满足条件λ1>>λ2>>λ3,条件λ1>>λ2>>λ3表示优先处理紧急程度高的业务。

3.根据权利要求2所述的方法,其特征在于,在命名数据网络中增加紧急业务队列,将三种不同紧急程度的兴趣包信息分别存储在不同优先级的紧急业务队列中,将存储有不同紧急程度的兴趣包信息的紧急业务队列添加到未决兴趣表,以使无人机节点优先响应紧急程度高的请求。

4.根据权利要求3所述的方法,其特征在于,当救援人员设备和/或普通用户设备向无人机发起请求后,无人机会在应急通信场景内广播兴趣包,在应急通信场景中的路由节点接收到兴趣包后,业务感知模型的具体处理过程为:S1.1、查询路由节点的本地内容存储库中是否已经缓存与兴趣包对应的数据包的副本,若查询命中,返回给请求者并丢弃对应的兴趣包;否则,跳转至S1.2和S1.3;

S1.2、查询路由节点的未决兴趣表中是否已记录兴趣包的条目,若查询命中,记录兴趣包的来源信息和转发接口并等待对应的数据包;否则,跳转至S1.3;

S1.3、查询路由节点的转发信息库中是否已记录兴趣包转发的一个或多个下一接口,若查询命中,转发兴趣包到对应的接口;否则,跳转至S1.4;

S1.4、以相同的方式向所有与路由节点相邻接口连接的所有路由节点广播兴趣包;

其中,兴趣包是指上行数据,数据包是指下行数据。

5.根据权利要求4所述的方法,其特征在于,当救援人员设备和/或普通用户设备发送的请求被响应,救援人员设备和/或普通用户设备会在应急通信场景内广播数据包,在应急通信网络中的路由节点接收到数据包后,业务感知模型的具体处理过程为:S2.1、查询路由节点的未决兴趣表中与数据包对应的兴趣包正在等待响应,若查询命中,记录兴趣包中源地址信息,并删除未决兴趣表中对应的记录,跳转至S2.3;否则,跳转至S2.2;

S2.2、查询路由节点的转发信息库是否有与数据包对应的转发信息,若查询命中,根据转发信息库和记录的源地址信息选择最短路径将数据包转发到所有需要数据包的路由节点,跳转至S2.3;否则,丢弃数据包;

S2.3、根据最少使用的缓存策略判断数据包是否在路由节点缓存,如果需要缓存,则缓存至本地;否则,不缓存数据包。

6.根据权利要求1所述的方法,其特征在于,所述效用函数的表达式为:

其中,It表示t时刻的覆盖率,Jt表示t时刻的加权业务响应

率,Kt表示t时刻的平均能耗,γi、γj和γk分别代表覆盖率、加权业务响应率和平均能耗对应的折扣因子,τ表示目前时刻;

其中,折扣因子满足以下约束条件:γi≥0,γj≥0,γk≥0&γi+γj+γk=1。

7.根据权利要求6所述的方法,其特征在于,建立无人机群智能体,建立无人机群智能体的状态空间、动作空间和奖励函数;将所述优化问题表述部分可观察马尔可夫决策过程模型,包括:初始化经验回放池;

在每个时刻t开始时,无人机群智能体i根据当前策略网络πi、当前状态si={ou,od,oi}和噪声,选择并执行一个动作ai,t,ai,t~πi(·|si,t),同时,无人机群智能体i与发起紧急请求的救援人员设备和/或普通用户设备建立连接并响应紧急业务;

在无人机群智能体i与相应的目标设备之间建立通信链路之后,无人机群智能体i将当前状态si,t转移至第二状态si,t+1,并获取到奖励数据Ri,t,Ri,t为无人机群智能体i在时刻t获得的奖励数据;

在状态转移以及奖励数据获取完成后,经验回放池记录状态转移(xt,xt+1,at,rt),xt+1为智能体在时刻t+1的状态数据集合。

8.根据权利要求7所述的方法,其特征在于,利用多智能体深度确定性策略梯度算法以所述部分可观察马尔可夫决策过程模型输出的元素对所述无人机群智能体进行训练,包括:在时刻t结束时,采用深度确定性策略梯度算法对智能体i的策略网络进行更新:目标值 为: 其中, 是拥有延迟参数θi′的目标策略网络集合,j代表随机采样的状态转移编号,γ 代表折扣率,为无人机i的目标价值网络; 分别为无人机1,…,Nw对应的动作数据; 表示无人机i的奖励函数;Nw为无人机的设备数量;

在时刻t结束时,通过最小化损失 来更新无人机群智能体i的价值网络;

其中, 代表所有的策略网络集合;

为无人机群智能体i的价值网络;

在决策时刻t结束时,利用深度确定性策略梯度算法 更新智能体i的策略网络的权值:更新目标网络的权值θi′:θi′←βθi+(1‑β)θi′;β为学习率;

重复策略网络和价值网络的更新步骤,直至无人机群智能体i的策略网络πi和价值网络收敛。

9.一种面向应急通信场景的无人机动态轨迹优化系统,其特征在于,系统包括:业务感知模型建立模块,用于添加一种Push的数据主动传输机制对命名数据网络的协议进行扩展,以使当内容发布后由内容生产者直接推送给用户端;基于命名数据网络构建应急通信场景的业务感知模型,其中业务感知模型是指动态调整无人机轨迹为用户发送的紧急业务提供数据传输服务,其中应急通信场景是指由无人机集合、救援人员设备集合和普通用户设备集合建立的应急通信网络,无人机、救援人员设备和普通用户设备在应急通信网络内均采用命名数据网络的协议进行数据传输;

优化问题建立模块,用于建立使无人机对用户端的覆盖率和加权业务响应率达到最大,无人机平均能耗达到最小的优化问题,并将所述优化问题表述部分可观察马尔可夫决策过程模型;其中,覆盖率的表达式为: 其中,∪表示或运算,Nu表示普通用户设备的设备数量,Nw表示无人机的设备数量,u表示普通用户设备,w表示无人机,μw,u表示普通用户设备是否在无人机的服务范围内;

加权业务响应率的表达式为:

中,Nd表示救援人员设备的设备数量,fF表示第F个内容,F为内容库所含内容的数量,Df表示内容f的大小,cw,f表示无人机w缓存了内容f,cd,f表示救援人员设备d缓存了内容f,ru,f表示普通用户设备u发送内容的紧急程度,rd,f表示救援人员设备d发送内容的紧急程度, 表示普通用户设备u发送内容f紧急程度所对应的权重系数, 表示救援人员设备d发送内容f紧急程度所对应的权重系数,μw,d表示救援人员设备d是否在无人机w的服务范围内,ζ表示救援人员请求的增益系数;

无人机平均能耗的表达式为: 其中, 表示无人机

传输内容所消耗的能量, 表示无人机做一次轨迹调整并完成数据传输内容所消耗的动力能耗,Ew表示无人机起飞时的总能量;

训练模块,用于建立无人机群智能体,利用多智能体深度确定性策略梯度算法以所述部分可观察马尔可夫决策过程模型输出的效用函数对所述无人机群智能体进行训练;

轨迹优化模块,用于根据训练好的无人机群智能体对本地状态数据进行决策,以调整无人机的飞行轨迹及服务的业务类别。