利索能及
我要发布
收藏
专利号: 2022102518503
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种物理电路实验自动识别方法,其特征在于,按预设周期执行步骤S1‑S6,获得物理电路实验识别模型,然后应用物理电路实验识别模型,判断物理电路实验中各元器件位置、状态,以及各元器件的接线柱之间是否连接,进而获得电路图;

S1:以固定图像获取姿态,实时采集物理电路实验场景所对应的物体类图像和状态类图像,各物体类图像和状态类图像中包括各元器件、各元器件的接线柱、导线,格式为三通道RGB图像;

S2:分别以各物体类图像和各状态类图像为输入,基于深度学习检测算法,分别以各物体类图像中的各元器件位置、种类,以及各状态类图像中的元器件状态标签为输出,构建元器件检测模块;

S3:分别以各物体类图像和各状态类图像为输入,基于HSV阈值过滤方法,对各物体类图像和各状态类图像中的导线进行分割,以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出,构建导线与背景分割模块;

S4:以元器件检测模块输出的各物体类图像中的各元器件位置、种类,以及各状态类图像中的元器件状态标签为输入,基于IoU交并比对比法,将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应,以各元器件的位置、种类,各元器件分别所对应的状态为输出,构建元器件状态模块;

S5:以导线与背景分割模块输出的各导线与背景二值图为输入,针对各导线与背景二值图中的各元器件的接线柱,基于广度优先遍历法,判断两两接线柱之间是否通过导线连接,以各元器件的接线柱连接状态为输出,构建接线柱连接状态模块;

S6:基于元器件检测模块、元器件检测模块、导线与背景分割模块、元器件状态模块、接线柱连接状态模块,构建物理电路实验识别待训练模型,以各物体类图像和各状态类图像为输入对物理电路实验识别待训练模型进行训练,以元器件状态模块输出的各元器件的位置、种类,各元器件分别所对应的状态,以及接线柱连接状态模块输出的各元器件的接线柱连接状态为输出,构建物理电路实验识别模型,然后应用物理电路实验识别模型,获得电路图。

2.如权利要求1所述的一种物理电路实验自动识别方法,其特征在于,元器件种类包括电源、电阻、灯泡、开关,各状态类图像中的元器件状态标签为开关闭合、开关打开、灯泡亮、灯泡灭。

3.如权利要求1所述的一种物理电路实验自动识别方法,其特征在于,步骤S3中分别以各物体类图像和各状态类图像为输入,基于HSV阈值过滤方法,对各物体类图像和各状态类图像中的导线进行分割,以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出,构建导线与背景分割模块的具体步骤如下:S31:分别将三通道RGB图像格式的各物体类图像和各状态类图像转换为对应的三通道HSV格式图像,其中三个通道分别为H、S、V;

S32:针对各三通道HSV格式图像,分别根据属于导线的各像素以及属于背景的各像素的像素值,对导线及背景进行分割,获得导线与背景二值图;

S33:通过对步骤S32所获得的各导线与背景二值图进行窗口大小为5的中值滤波处理,以获得优化后的各导线与背景二值图。

4.如权利要求1所述的一种物理电路实验自动识别方法,其特征在于,所述步骤S4中以元器件检测模块输出的各物体类图像中的各元器件位置、种类,以及各状态类图像中的元器件状态标签为输入,基于IoU交并比对比法,将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应,以各元器件的位置、种类,各元器件分别所对应的状态为输出,构建元器件状态模块的具体步骤如下:S41:分别计算各状态类图像中的各元器件与各物体类图像中的各元器件的IoU交并比,其中状态类图像中的元器件如下式:s([xa1,ya1],[xa2,ya2])

式中,[xa1,ya1]为状态类图像中的元器件IoU矩形框的左上角坐标,[xa2,ya2]为状态类图像中的元器件IoU矩形框的右下角坐标;

物体类图像中的元器件如下式:

o([xb1,yb1],[xb2,yb2])

式中,[xb1,yb1]为物体类图像中的元器件IoU矩形框的左上角坐标,[xb2,yb2]为物体类图像中的元器件IoU矩形框的右下角坐标;

状态类图像中的元器件与物体类图像中的元器件的IoU交并比的计算方法如下式:

其中X1、Y1、sa、sb如下式:

X1=max(xa1,xb1),Y1=max(ya1,yb1)

X2=min(xa2,xb2),Y2=min(ya2,yb2)

sa=(xa2‑xa1)×(ya2‑ya1)

sb=(xb2‑xb1)×(yb2‑yb1)

S42:选取与状态类图像中的元器件IoU交并比最大的物体类图像中的元器件,将该状态类图像中的元器件状态标签与物体类图像中该元器件对应;

S43:重复步骤S41‑S42,直至将各状态类图像中所有元器件状态标签与各物体类图像中的元器件一一对应。

5.如权利要求4所述的一种物理电路实验自动识别方法,其特征在于,所述步骤S5中以导线与背景分割模块输出的各导线与背景二值图为输入,针对各导线与背景二值图中的各元器件的接线柱,基于广度优先遍历法,判断两两接线柱之间是否通过导线连接,以各元器件的接线柱连接状态为输出,构建接线柱连接状态模块的具体步骤如下:S51:分别针对接线柱t1([x11,y11],[x12,y12])和接线柱t2([x21,y21],[x22,y22]),基于下式计算中心点,其中[x11,y11]为接线柱t1的IoU矩形框的左上角坐标,[x12,y12]为接线柱t1的IoU矩形框的右下角坐标,[x21,y21]为接线柱t2的IoU矩形框的左上角坐标,[x22,y22]为接线柱t2的IoU矩形框的右下角坐标,:式中,i取值为1或2,i=1时,x1、y1分别为接线柱t1的中心点c1在导线与背景二值图中的横坐标、纵坐标,i=2时,x2、y2分别为接线柱t2的中心点c2在导线与背景二值图中的横坐标、纵坐标;

S52:在导线与背景二值图中分别以接线柱t1、t2的中心点c1、c2为圆心,分别以r1、r2为半径,寻找与中心点c1距离最近的导线像素位置cu1(xu1,yu1),以及与中心点c2距离最近的导线像素位置cu2(xu2,yu2),其中xu1、yu1分别为导线像素位置cu1在导线与背景二值图中的横坐标、纵坐标,xu2、yu2分别为导线像素位置cu2在导线与背景二值图中的横坐标、纵坐标,若圆内不存在属于导线的像素点,则将导线像素位置横坐标、纵坐标置为(‑1,‑1),半径ri计算方法如下式:式中,i取值为1或2。

S53:针对导线像素位置cu1,分别判断其上、下、左、右位置的像素点是否属于导线,并对导线像素位置cu1置0;

S54:针对导线像素位置cu1的上、下、左、右位置的像素点,若存在属于导线的像素点,则针对该像素点重复步骤S53,直至导线像素位置为cu2(xu2,yu2);

S55:针对步骤S53中对导线像素位置的上、下、左、右位置的像素点是否属于导线的判断过程中,若导线像素位置cl(xl,yl)的上、下、左、右位置的像素点均不属于导线,则以导线像素位置cl(xl,yl)为圆心,以20个像素点为半径,寻找与中心点cl距离最近的导线像素位置cun(xun,yun),其中xun、xl分别为导线像素位置cun、cl在导线与背景二值图中的横坐标,yun、yl分别为导线像素位置cun、cl在导线与背景二值图中的纵坐标;

S56:若步骤S55中以导线像素位置cl(xl,yl)为圆心,以20个像素点为半径所确定的圆内存在属于导线的像素点,则将cu1(xu1,yu1)更新为cun(xun,yun),重复步骤S53,直至导线像素位置为cu2(xu2,yu2),若圆内不存在属于导线的像素点,则判断两接线柱之间不连接。