1.一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法,其特征在于,包括步骤:S1.将摄像头收集的交通异常情形图像打上标签作为有标签数据集,并进一步划分成训练集和测试集;
S2.对样本数据进行数据处理并构造情景任务,从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像;
S3.利用骨干网络对每个情景任务中的图像进行特征提取,并获取多尺度输入特征;
S4.将两个不同层次注意力结合,形成特征多域层次结构;
S5.将不同尺度度量结果加权聚合,根据最终的支持集和查询集样本间的度量分数实现图像分类;
S6.利用损失函数进行端到端训练;
S7.进行测试保留最优训练权重;
S8.将训练好最优权重的模型部署到摄像头,将摄像头安置到新场景中,采集交通异常图像进行数据标注作为支持集样本,后续采集的待检测图像作为查询集样本即可实现异常图像分类采集;
步骤S4中,利用特征 在多域注意力耦合模块中将两个不同层次的注意力结合:关注类间多样性的多域注意力权重Wss和关注类内相关性的自注意力权重Wsa;
多域的注意力权重 由一个能学习参数的自适应空间重要性生成器Gs和sigmoid函数获得,公式如下:其中,θs为可学习参数, 为每个域的掩模,σ为sigmoid函数;
将原型特征 通过权重为 的线性映射层被转换为查询矩阵、键矩阵和值矩阵 于是自注意力权重 表示为:
两个不同层次中注意力耦合过程表示为:
其中, 表示元素乘积;
多域注意力耦合模块输出特征表示为:
其中,||表示级联操作,FFN表示前馈网络;
步骤S5中,利用多尺度度量模块中的自适应权重生成器Gw获取各个尺度度量结果的重要性权重:其中,||表示级联操作,θw为可学习参数;最终的度量结果表示为:其中,d(·,·)表示度量函数;
利用最近邻居算法根据度量分数得到查询样本xj的标签预测结果
2.根据权利要求1所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法,其特征在于,步骤S1中,将多类交通异常图像打上标签作为有标签数据集Dlabel,后将有标签数据集Dlabel中多类交通异常图像按比例划分为训练集Dbase和测试集Dtest。
3.根据权利要求2所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法,其特征在于,步骤S2中,裁剪图像,同时进行数据增强;情景任务T由N个类别,每个类别有K个样本,由支持集 和查询集 构成,即T=(S,Q),其中xi和xj分别是支持集和查询集中的图像样本,yi和yj分别是对应标签。
4.根据权利要求3所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法,其特征在于,在训练阶段支持样本随机采样自训练集Dbase,查询样本采样自与支持集样本相同交通异常情形的同类样本,测试阶段支持样本随机采样自测试集Dtest,查询样本采样自与支持集样本相同交通异常情形的同类样本。
5.根据权利要求4所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法,其特征在于,步骤S3中,利用骨干网络进行特征提取,并利用一个多尺度特征解复用器来构造多尺度输入特征,Z个尺度特征 其中F={fz}={fz,s,fz,q},z=1,...,Z;
在各个尺度上计算出每个情景任务中包含的样本类别的类原型:在1‑shot或者many‑shot设置下,类别n的类原型由同类样本嵌入特征均值表示: 其中n=
1,...,N。
6.根据权利要求5所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法,其特征在于,步骤S6中,训练阶段在端到端设置下被优化学习;目标损失函数由三部分组成:多尺度分类损失Lcls、域多样性损失 以及多尺度平衡损失对于多尺度度量结果的分类损失使用交叉熵损失:其中,LCE表示交叉熵损失;
对域注意力的稀疏性进行约束,具体公式如下:
利用一个平衡损失函数对各个尺度预测结果进行约束:其中, 表示在各个尺度上查询标签预测结果;
总的目标函数结合所述的损失表示为:
其中,λ1和λ2分别为多样性损失 和平衡损失 的平衡参数。
7.根据权利要求6所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法,其特征在于,步骤S7中,在训练阶段会进行多次迭代训练,每迭代完一次训练数据集,会从测试数据集中随机采样构成测试情景任务,并利用步骤S3‑S5进行精度测试,获取当前训练权重在测试集上图像分类精度,保存精度最高的训练权重。
8.一种基于多尺度注意力耦合机制的小样本交通异常图像采集系统,其特征是包括如下模块:数据集制作模块:将摄像头收集的交通异常情形图像打上标签作为有标签数据集,并进一步划分成训练集和测试集;
构造情景任务模块:对样本数据进行数据处理并构造情景任务,从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像;
特征提取模块:利用骨干网络对每个情景任务中的图像进行特征提取,并获取多尺度输入特征;
多域注意力耦合模块:将两个不同层次注意力结合,形成特征多域层次结构;
多尺度度量模块:将不同尺度度量结果加权聚合,根据最终的支持集和查询集样本间的度量分数实现图像分类;
训练模块:利用损失函数进行端到端训练;
最优训练权重保留模块:进行测试保留最优训练权重;
模型部署及图像采集模块:将训练好最优权重的模型部署到摄像头,将摄像头安置到新场景中,采集交通异常图像进行数据标注作为支持集样本,后续采集的待检测图像作为查询集样本即可实现异常图像分类采集;
多域注意力耦合模块中,利用特征 在多域注意力耦合模块中将两个不同层次的注意力结合:关注类间多样性的多域注意力权重Wss和关注类内相关性的自注意力权重Wsa;
多域的注意力权重 由一个能学习参数的自适应空间重要性生成器Gs和sigmoid函数获得,公式如下:其中,θs为可学习参数, 为每个域的掩模,σ为sigmoid函数;
将原型特征 通过权重为 的线性映射层被转换为查询矩阵、键矩阵和值矩阵 于是自注意力权重 表示为:
两个不同层次中注意力耦合过程表示为:
其中, 表示元素乘积;
多域注意力耦合模块输出特征表示为:
其中,||表示级联操作,FFN表示前馈网络;
多尺度度量模块中,利用多尺度度量模块中的自适应权重生成器Gw获取各个尺度度量结果的重要性权重:其中,||表示级联操作,θw为可学习参数;最终的度量结果表示为:其中,d(·,·)表示度量函数;
利用最近邻居算法根据度量分数得到查询样本xj的标签预测结果