1.一种基于改进LoFTR算法的丝饼缺陷检测方法,其特征在于,包括:(1)基于标准圆点标定板依次对各个相机进行标定,得到各个相机的内参矩阵、外参矩阵和畸变系数,从而进行各相机的畸变矫正;
(2)获取畸变矫正后的多相机采集的丝饼各表面多张丝饼图像,得到若干具有重复区域的待拼接图像对;
(3)对所述丝饼图像进行缺陷检测,若丝饼表面有毛丝、毛羽、断线、圈丝即为有缺陷,无缺陷则完成本次检测,有缺陷则继续下一步骤;
(4)根据相机参数对所述待拼接图像对的重叠区域进行预估计,得到所述重叠区域占图像的比例;
(5)对所述待拼接图像对进行像素调整及曝光补偿,以便于进行拼接融合;
(6)按照重叠区域占图像的比例,分别使用相应比例的掩膜提取出步骤(5)中处理后的待拼接图像对的重叠区域,使用改进后的基于Transformer的LoFTR算法对所述重叠区域进行特征点提取,并根据特征点对的置信度剔除错误匹配的特征点对,得到有效匹配的特征点对;
(7)基于所述有效匹配的特征点对,使用PROSAC算法进行随机采样,进而求解步骤(5)处理得到的所述待拼接图像对的单应性矩阵;
(8)使用所得单应性矩阵对步骤(5)处理得到的所述待拼接图像对中的右待拼接图像进行透视变换,将其中的左待拼接图像拷贝到透视变换后的右待拼接图像上;
(9)使用加权平均的图像融合算法对步骤(8)得到的直接拼接图像的重叠区域进行融合,消除拼接缝,得到丝饼表面完整无重复区域的图像;
(10)对各表面完整无重复区域的图像进行缺陷检测,确定缺陷的类型、位置与数目,从而对丝饼质量进行评级;
其中,步骤(6)中,所述改进后的基于Transformer的LoFTR算法通过局部特征CNN提取模块、特征转换模块、粗粒度匹配模块、精细度匹配模块实现,其中:所述局部特征CNN提取模块使用ResNetFPN网络对输入的两张丝饼图像进行三次下采样至图像大小的1/2、1/4、1/8级别,对1/8级别的粗粒度图像特征图采用双线性插值方更有式进行两次上采样,依次得到1/4和1/2的特征图,并与高层的特征信息进行融合,输出1/8级别的粗粒度图像特征图 以及1/2的细粒度图像特征图 其中每层下采样前均添加有scSE注意力机制;
所述特征转换模块用于对传入的粗粒度图像特征图 使用自注意力和交叉注意力提取位置和上下文相关的局部特征,将特征转换为易于匹配的特征表示 和所述粗粒度匹配模块使用可微匹配层来匹配特征 和 得到置信矩阵Pc,使用互近邻算法选择匹配对,得到粗粒度的匹配预测Mc;
所述精细度匹配模块对于每个粗粒度匹配对 从细粒度图像特征图中的 位置提取一个大小为w×w的局部窗口,传入自注意力和交叉注意力层,并采用softmax计算该窗口的得分矩阵和匹配概率矩阵,最终在细粒度图像特征图 中得到最终的特征匹配点坐标并输出。
2.根据权利要求1所述的方法,其特征在于,用于采集丝饼图像的多相机采集装置包括丝饼支撑座、圆周面采集相机、上端面采集相机以及下端面采集相机,所述上端面采集相机以及下端面采集相机各为两个,圆周面采集相机为4个相。
3.根据权利要求1所述的方法,其特征在于,步骤(4)中,丝饼端面图像之间的重复区域满足:
其中fov为相机的视场角,l为两相机间的距离,h为相机到丝饼表面的距离,φ为丝饼端面图像重叠区域占原图面积的比例;
丝饼圆周面图像之间的重复区域满足:
其中λ为丝饼圆周面图像重叠区域所占比例,fov为相机的视场角,β为两相机间的夹角大小。
4.根据权利要求1所述的方法,其特征在于,步骤(5)中,所述像素调整为使用值为0的像素点对多相机采集的图像进行边缘填充;
所述曝光补偿使用增益曝光的方式进行补偿,其中增益系数通过误差函数e来进行实现:其中
gi和gj为图像i和j的增益系数,R(i,j)为两图像的重叠部分,R、G、B为图像各通道分量的强度值,Nij为重叠部分的像素数量,σN和σg分别为误差和增益的标准差,通常σN=10、σg=
0.1,Iij为重叠部分图像强度的平均值,n1和n2分别为重叠部分宽高上的像素个数。
5.根据权利要求1所述的方法,其特征在于,步骤(7)中,所述单应性矩阵H通过下式计算并选取其中使得反向投影错误率达到最小的矩阵而得到:其中,(xi,yi)为重复区域中左待拼接图像中采样到的特征点坐标,(x′i,y′i)为右待拼接图像中采样到的特征点坐标。
6.根据权利要求1所述的方法,其特征在于,步骤(8)中,对于进行透视变换的右待拼接图像的坐标(u,v),透视变换得到图片坐标为(x,y):[x′,y′,w′]=[u,v,w]H
其中H为所述单应性矩阵。
7.根据权利要求1所述的方法,其特征在于,步骤(9)中,使用加权平均的图像融合算法对步骤(8)中直接拼接图像的重叠区域进行融合,具体为:其中,g(x,y)为融合后的图像点像素,g1(x,y)为左待拼接图像的像素点,g2(x,y)为右待拼接图像的像素点,g1∩g2为待拼接图像对之间的重叠部分,ω为权重值。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑7任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1‑7中任一项所述方法的步骤。