利索能及
我要发布
收藏
专利号: 2023100531103
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,包括以下步骤:S1,从数据集视频中采样干净模板和干净搜索区域 ,获取训练样本集;

S2,获取干净模板和Z张干净搜索区域 ,通过Numpy库分别将每一张干净搜索区域经过 变换生成搜索区域丰富数据样本 ( );所述 变换为随机变换,包括光照模拟、旋转、翻转、填充;

S3, 通过pytorch函数随机初始化一个初始扰动图像U,该初始扰动图像U与干净搜索区域尺寸相同;将初始扰动图像U添加到搜索区域丰富数据样本 ( )中,形成对抗搜索区域 ;

S4,将搜索区域丰富数据样本 ( )、对抗搜索区域 、干净模板送入SiamFC++跟踪器中,获取边框原始分数排序列表Rank及添加扰动后的分数排序列表 ;

S5,计算真实目标框与SiamFC++跟踪器每一个预测框的GIOU分数,并从小到大排序;

S6,通过排序函数计算原始分数排序列表Rank中最高分数所对应框的索引index,计算GIOU分数最小的框所对应框的索引gindex,执行flip翻转攻击;

S7,计算搜索区域中GIOU>0.7的框所对应的尺度{ },执行scale尺度攻击;其中 表示尺度图,代表的是预测边框的宽和高的值;

S8,引入感知损失 ,确保对抗搜索区域 与搜索区域丰富数据样本 的像素差绝对值不超过扰动的最大值;

S9,联合更新通用对抗扰动,通过Numpy库引入 变换;所述 变换包括平移和多尺度调整大小;所述步骤S9,具体包括:S9‑1,以 flip翻转攻击损失、scale尺度攻击损失、perp感知损失作为优化目标,对第j‑1次优化后的扰动图像进行迭代优化,得到第j次优化后的扰动图像,总损失具体描述为:;

其中 代表总损失函数,  表示翻转攻击损失函数, 表示尺度攻击损失函数, 表示感知损失;

S9‑2,采用动量随机梯度下降,针对总损失 对第j‑1次优化后的扰动图像进行反向传播迭代优化,更新扰动图像;

将更新第i次迭代时的扰动图像记为 ,更新过程具体表示为:;

其中 是第i次迭代的动量,是动量的参数,取0.5; 是符号函数,当 大于0时,则 返回1;当 等于0时,则 返回0;当 小于0,则 返回‑1;lr是学习率,是梯度, 是第i次后的扰动图像;代表最大扰动值;min()代表取两数中的小值,max()代表取两数中的大值;

S9‑3,对通用对抗扰动引入 变换,得到新一轮迭代后的扰动,重复步骤S4‑S8继续进行迭代优化;

S10,当优化目标收敛时,将当前扰动图像作为最佳通用扰动图像并输出,所述优化目标收敛是指模型在训练过程中梯度变化趋于平缓的状态,当优化目标随着迭代次数增加,损失变化很小且趋于平缓时,此时优化目标收敛。

2.如权利要求1所述的基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,其特征在于,所述步骤S3中,随机初始化处理后的初始扰动图像U的数值在(‑10,10)之间;扰动约束条件为 ≤10。

3.如权利要求1所述的基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,其特征在于,步骤S4的实现过程如下:S4‑1,对第j次迭代,将第j‑1次优化后的扰动图像线性加在第j个视频中的第N张搜索区域丰富数据样本中,得到第j个视频的对抗搜索区域,将j‑1次优化后的扰动图像记为;

其中1≤j≤M,1≤N≤P,M为训练样本集中视频的数量;P为第j个视频中搜索区域的总数量;第0次优化后的扰动图像为随机初始化的扰动图像;

S4‑2,根据第j个视频训练样本搜索区域及SiamFC++跟踪器置信度分数图,获取P个搜索区域的边框原始分数排序列表Rank及干扰后分数排序列表Rank'。

4.如权利要求1所述的基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,其特征在于,所述步骤S5中,SiamFC++跟踪器预测的结果GIOU取最小值。

5.如权利要求1所述的基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,其特征在于,所述步骤S6中,执行flip翻转的具体计算公式如下:;

其中 为翻转攻击损失函数,P为第j个视频中搜索区域的总数量; 表示GIOU值最小的框在排序列表中所对应的置信度分数, 代表在添加扰动后原来最高分数的框所对应的置信度分数。

6.如权利要求1所述的基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,其特征在于,所述步骤S7中,执行scale攻击的具体公式如下:;

其中 为尺度攻击损失函数,n代表第j个视频中GIOU>0.7的边框的个数, 代表范数; 表示尺度图,代表的是预测边框的宽和高的值; 是预先自定义的宽和高,是(0,1)之间的随机数。

7.如权利要求1所述的基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,其特征在于,所述步骤S8引入感知损失 ,具体公式如下:;

其中 是感知损失,P为第j个视频中搜索区域的总数量; 为MSE Loss; 代表搜索区域丰富数据样本; 代表对抗搜索区域。

8.如权利要求1所述的基于孪生网络的目标跟踪通用鲁棒对抗攻击方法,其特征在于,所述步骤S9‑2中,对第j次迭代优化时,判断第j‑1次优化后的扰动图像的像素值是否大于最大约束;

若第j‑1次优化后的扰动图像的像素值大于最大约束值,认为扰动处于饱和状态,将δ重新缩放到原来的一半,继续迭代优化;

若第j‑1次优化后的扰动图像的像素值小于等于最大约束值时,则无需对当前扰动图像δ进行缩放,维持原样,继续迭代优化。