欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021109093711
申请人: 江苏大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于RetinaXNet的建筑夜景灯光异常检测方法,其特征在于,包括如下步骤:

1)构建初始夜景灯图像集合C并发送到GPU计算服务器进行存储;

2)对图像集合C进行处理得到数据集,并将数据集划分为训练集E和测试集T;3)构建RetinaXNet网络模型;所述RetinaXNet网络模型包括输入模块、主干模块、检测头模块;

4)利用UFL函数优化RetinaXNet网络模型的权值;

5)训练RetinaXNet网络模型;

6)夜景灯异常检测,即通过摄像头获取待检测帧并送入RetinaXNet网络,将网络的输出结果映射回原图,判断夜景灯是否异常。

2.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法,其特征在于,所述步骤1)包括如下步骤:

1.1)利用摄像头采集夜景灯光的视频数据V,所述摄像头事先固定安装于可以拍摄需要进行夜景灯光检测的地点;

1.2)从视频数据V中每隔时间Δt提取一帧图像,构建初始夜景灯图像集合C,记为C={I1,I2...In},Ii为第i帧图像,n为夜景灯图像的个数;

1.3)将初始夜景灯图像集合C发送到GPU计算服务器进行存储。

3.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法,其特征在于,所述步骤2)包括如下步骤:

2.1)对图像集合C中的每一帧图像,计算像素值小于j的像素出现概率pi(j),计算公式如下:

pi(j)表示第i帧图像中灰度大于0小于j的出现概率,nt为灰度级小于j的像素个数,nI为每帧图像的像素总个数;

2.2)计算集合C中每一帧图像的直方图结果G(i),计算公式如下:G(i)为第i帧的灰度直方图处理结果,其中0≤i<256,pi(j)表示第i帧图像中像素大于

0小于j的出现概率;

2.3)计算像素均衡化的结果H(v),均衡化图像集合C,其中C={I1,I2...In},处理后的图像集合记为C′,C'={I1',I2'...In'},计算公式如下:式中,v为图像集合C中单张图像I上的像素值,H(v)为对v均衡化的计算结果,G(v)为当前v的直方图处理结果,Gmin为直方图处理的最小值,Gmax为直方图处理的最大值,L为灰度级数,round代表对像素值结果的四舍五入,所有像素计算完成得到单张图像I',集合记为C′;

2.4)对图像集合C′中的图像计算平均像素值a,其中C'={I1',I2'...In'},计算公式如下:

式中,M为图像的长度像素值,N为图像的宽度像素值,It'(r,c)为图像集合C′中的图像像素的坐标,t为选取图像的编号;

2.5)对图像集合C′中的图像进行缺失和填补处理,缺失和填补的值为g(i,j),得到数据集C”,计算公式如下:

式中,g(i,j)为缺失和填补的值,I'(i,j)为图像集合C′中图像I'的坐标为(i,j)的像素值,Th为设定的阈值;

2.6)按比例m:n将数据集C”分为训练集E和测试集T。

4.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法,其特征在于,所述步骤3)构建RetinaXNet网络模型包括如下步骤:

3.1)利用输入模块将训练集E中的图像统一缩减为r:l大小的图像,其中r为缩减后的长度像素值,l为缩减后的宽度像素值,变换后的集合记为X={x1,x2...x3};

3.2)利用主干模块通过残差结构提取集合X中每一帧的轮廓特征,残差结构公式如下:F(x)=f(x)+f(f(x))+f(f(f(x)))其中f(x)=δ(W*x)+c

式中,每一帧图像x作为卷积层的输入,W为卷积需要学习的参数,δ为激活函数,F(x)为残差结构的输出结果;

3.3)在检测头模块中设置分类融合的输入参数的结构FCLS,公式如下:FCLS=δ[WCLS*F(x)]+c式中,F(x)为残差结构的输出结果,WCLS为训练参数,δ为激活函数,c为常数项;

3.4)在检测头模块中设置非线性回归连接参数的结构 公式如下:式中,FCLS为参数融合的输入部分,W1,W2为训练参数,δ为激活函数,c为常数项,LCR连接为非线性连接,其作用为加强分类与回归之间的联系;

3.5)计算回归的加强参数 计算公式如下:式中,Freg为网络原先的回归参数, 为经过加强的回归参数;

3.6)在检测头模块中设置非线性分类连接参数的结构 公式如下:式中,W3为训练参数, 为经过加强的回归参数, 为非线性分类连接参数的结构;

3.7)计算分类的加强参数 计算公式如下:式中,Fcls为网络原先的分类参数, 为经过加强的分类参数。

5.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法,其特征在于,所述步骤4)中利用UFL函数优化RetinaXNet网络模型的权值,优化公式如下:式中,y为真实标签,其取值为0或1, 为UFL的动态调整因子参数,γ为调整样本权重的速率,α为权重参数。

6.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法,其特征在于,所述步骤5)训练RetinaXNet网络模型包括如下步骤:

5.1)计算准确率accuracy,计算公式如下:式中,accuracy为准确率,TP代表测试集T中网络输出为正样本,且参考标准也为正样本的个数;TN代表网络输出为负样本,且参考标准也为负样本的个数;FP代表网络输出为正样本,但参考标准为负样本的个数;FN代表网络输出为负样本,但参考标准为正样本的个数;

5.2)计算召回率recall,计算公式如下:式中,recall为召回率TP,代表判被判定为正样本,即正样本的个数;FN代表被判定为负样本,但事实上是正样本的个数;

5.3)计算F1值,计算公式如下:式中,F1是对accuracy和recall的平衡,其综合准确率和召回率的计算结果;

5.4)判断F1是否小于t,如小于则转步骤5.1)重新训练,否则转步骤6)。

7.如权利要求1所述的基于RetinaXNet的建筑夜景灯光异常检测方法,其特征在于,所述步骤6)判断夜景灯是否异常包括如下步骤:

6.1)将网络输出结果映射回原图,映射到原图的坐标、长和高公式如下:式中, 为原图像的长和高,x、y、W、H分别为检测框的左上角坐标与检测框的长和高,xN、yN、WN、HN为映射到原图的坐标与长和高;

6.2)异常检测,检测公式如下:式中,Warn=0代表无异常,Warn=1代表出现异常,触发报警器。