1.一种基于双光图像融合的电力作业人员违规行为检测方法,其特征在于,所述方法,包括:获取电力作业人员进行电力作业过程中的可见光图像和红外图像;
利用R2RIFT算法,将所述可见光图像和红外图像进行图像配准;
利用语义感知融合模型,对配准后的可见光图像和红外图像进行特征提取和融合,以得到双光融合图像;
利用违规行为检测模型,对所述双光融合图像进行检测,以得到所述电力作业人员的违规行为检测结果;
所述利用R2RIFT算法,将所述可见光图像和红外图像进行图像配准,包括:利用相位一致性,分别构造出所述可见光图像和红外图像的PC图像;
利用FAST特征点检测算法,分别检测出所述可见光图像和红外图像的PC图像中的特征点;
利用构造所述可见光图像和红外图像的PC图的方法得到卷积序列,并基于所述卷积序列分别构造出所述可见光图像和红外图像的最大索引图;
针对检测出的每一个特征点,基于所述最大索引图,利用BRIEF算法分别生成所述可见光图像和红外图像的特征描述子;其中,所述特征描述子为固定长度的二进制编码串;
基于所述可见光图像和红外图像的特征描述子,利用RANSAC算法,将所述可见光图像和红外图像进行匹配;
所述利用语义感知融合模型,对配准后的可见光图像和红外图像进行特征提取和融合,得到双光融合图像,包括:基于配准后的可见光图像和红外图像,利用语义感知网络分别提取出多尺度的可见光特征图像和红外特征图像;
针对所述可见光特征图像和红外特征图像,基于通道注意力机制生成多尺度的可见光特征强化图像和红外特征强化图像;
针对所述可见光特征强化图像和红外特征强化图像,基于通道注意力机制和空间注意力机制生成包含细节和结构信息的浅层双光融合图像;
基于交叉注意力机制,将所述可见光特征强化图像和红外特征强化图像的深度特征进行整合,生成包含上下文信息的深层双光融合特征;
将所述深层双光融合特征注入所述浅层双光融合图像,得到所述双光融合图像。
2.如权利要求1所述的方法,其特征在于,所述利用相位一致性,分别构造出所述可见光图像和红外图像的PC图像,包括:在图像I(x,y)上应用二维高斯滤波器,得到响应分量 和基于所述响应分量 和 利用卷积运算得出正交滤波器对的响应向量[eno(x,y),ono(x,y)];
基于所述正交滤波器对的响应向量[eno(x,y),ono(x,y)],得到振幅分量Aon(x,y)和相位分量φno(x,y);
基于所述振幅分量Ano(x,y)和相位分量φno(x,y),得到所述可见光图像和红外图像的PC图像PC(x,y)。
3.如权利要求1所述的方法,其特征在于,所述基于通道注意力机制生成多尺度的可见光特征强化图像和红外特征强化图像,包括:将同一尺度下的可见光特征图像和红外特征图像在通道维度上进行拼接后,利用通道注意力层生成可见光特征图像和红外特征图像分别对应的注意力权重;
将可见光特征图像和红外特征图像分别对应的注意力权重分别应用至该尺度下的可见光特征图像和红外特征图像上,以得到多尺度的可见光特征强化图像和红外特征强化图像。
4.如权利要求1所述的方法,其特征在于,所述基于通道注意力机制和空间注意力机制生成包含细节和结构信息的浅层双光融合图像,包括:在通道维度上将多尺度的可见光特征强化图像和红外特征强化图像分别进行串联后,利用并行的通道注意力层和空间注意力层生成可见光特征强化图像和红外特征强化图像分别对应的融合权重;
基于所述可见光特征强化图像和红外特征强化图像分别对应的融合权重,生成所述浅层双光融合图像。
5.如权利要求1所述的方法,其特征在于,所述基于交叉注意力机制,将所述可见光特征强化图像和红外特征强化图像的深度特征进行整合,生成包含上下文信息的深层双光融合特征,包括:利用投影函数,分别对所述可见光特征强化图像和红外特征强化图像依次进行卷积和整形操作,以将所述可见光特征强化图像和红外特征强化图像转换成相应的键和值;
将得到的可见光特征强化图像和红外特征强化图像的键和值结合,得到所述深层双光融合特征。
6.如权利要求1所述的方法,其特征在于,所述违规行为包括;倚或靠行为、未带安全帽行为、跨越安全围栏行为、工作区域吸烟行为、作业过程无人扶梯行为。
7.如权利要求1所述的方法,其特征在于,通过以下方式预先训练所述违规行为检测模型:采集多组模拟电力作业人员产生违规行为时的可见光图像和红外图像,以生成多个违规行为的双光融合图像;
对所述违规行为的双光融合图像进行违规行为标注;
将所述违规行为的双光融合图像作为输入,将相对应的违规行为标注作为输出,训练Yolov10n模型,以得到违规行为检测模型。