1.一种智能生产线打包装盒检测方法,其特征在于,包括:
采集待装盒商品的三维训练数据、包装盒图像训练数据与装盒后图像数据;
基于三维训练数据,建立商品的三维立体模型库;基于实时收集到的三维训练数据,与三维立体模型库中的商品三维模型进行三维匹配,识别待装盒的商品种类并选择与商品对应的包装盒以及包装盒填充物;
基于包装盒图像训练数据训练出计算包装盒破损评估值的第一机器学习模型;
设置包装盒破损评估阈值并与包装盒破损评估值对比,生成不同的包装盒调节指令;
基于装盒后图像数据,分析商品装盒后商品的失稳度,生成填充物调节指令;
基于三维立体模型库对商品种类进行编号,生成商品种类序列G;所述商品种类序列G中包含i个种类的商品,第i个商品种类标记为Gi;针对商品种类序列G中的每一种商品,设置与每一种商品对应的包装盒与填充物;
所述三维匹配通过I CP算法实现,过程如下:
步骤1、选择参考点云A;从三维立体模型库中随机选取一个三维点云数据作为参考点云A,参考点云A为实时三维训练数据中的点云B需要匹配的目标点云;
步骤2、预匹配点云B与参考点云A;对参考点云A和点云B进行特征信息提取,根据特征信息,在参考点云A与点云B中寻找相似的点,并初步确定点云B与参考点云A之间的位置和姿态关系;
步骤3、计算整体距离误差;以参考点云A中的每个点为参考,在点云B中找到与参考点云A中每个点一一对应的最近邻点,然后计算参考点云A中的每个点与点云B中最近邻点之间的距离误差;将距离误差相加得到参考点云A与点云B之间的整体距离误差;通过变换矩阵的方式对点云B中的每个点进行变换;重新计算参考点云A与点云B之间的整体距离误差;
多次迭代步骤3,使点云B与参考点云A之间的整体距离误差收敛;
步骤4:输出匹配结果;当点云B与参考点云A之间的整体距离误差收敛时,将点云B对应的商品种类作为匹配结果输出,匹配结果为待装盒的商品种类;
设置失稳度阈值,当包装盒失稳度大于等于失稳度阈值时,标记商品在包装盒里不稳固,生成填充物调节指令;当包装盒失稳度小于失稳度阈值时,标记商品在包装盒里稳固;
所述填充物调节指令包括向包装盒内添加填充物;
分析商品装盒后商品的失稳度方式如下:
灰度化处理装盒后图像数据,使用高斯滤波对灰度化处理后的装盒后图像数据进行平滑处理;
使用Canny算法提取装盒后图像数据的边缘点;
使用霍夫变换来提取边缘点构成的包装盒内壁边缘直线与填充物边缘直线;
将包装盒内壁边缘直线围成的面积减填充物边缘直线围成的面积的值的平方作为失稳度。
2.根据权利要求1所述的一种智能生产线打包装盒检测方法,其特征在于,所述三维训练数据包括待装盒商品的三维点云数据;所述包装盒图像训练数据包括包装盒六个面的图像数据;装盒后图像数据为商品装盒后,对包装盒内部进行俯拍的图像数据。
3.根据权利要求2所述的一种智能生产线打包装盒检测方法,其特征在于,基于包装盒图像训练数据训练出计算包装盒破损评估值的第一机器学习模型的训练方式如下:将包装盒图像训练数据作为第一机器学习模型的输入,对包装盒的破损情况进行评估,将包装盒破损评估值作为包装盒图像训练数据的输入标签;所述第一机器学习模型的输出为实时的包装盒破损评估值;以每组包装盒图像训练数据对应的包装盒破损评估值作为预测目标,以最小化损失函数 作为训练目标;当第一机器学习模型损失函数小于等于目标损失值时停止训练;
损失函数中mse为损失函数值,i为包装盒图像训练数据组号;u为包装盒图像训练数据组数;yi为第i组包装盒图像训练数据对应的输入标签, 为第i组包装盒图像训练数据实时计算的包装盒破损评估值。
4.根据权利要求3所述的一种智能生产线打包装盒检测方法,其特征在于,所述包装盒调节指令分为一级包装盒调节指令和二级包装盒调节指令,包装盒破损评估阈值分为一级包装盒破损评估阈值和二级包装盒破损评估阈值,一级包装盒破损评估阈值小于二级包装盒破损评估阈值;
当包装盒破损评估值小于等于一级包装盒破损评估阈值时,标记为合格包装盒;
当包装盒破损评估值大于一级包装盒破损评估阈值,且小于等于二级包装盒破损评估阈值时,标记包装盒为轻微破损包装盒,生成一级包装盒调节指令;所述一级包装盒调节指令包括对包装盒进行修复;
当包装盒破损评估值大于二级包装盒破损评估阈值时,标记包装盒为严重破损包装盒,生成二级包装盒调节指令;所述二级包装盒调节指令包括对包装盒进行回收利用。
5.根据权利要求4所述的一种智能生产线打包装盒检测方法,其特征在于,Canny算法的过程包括:步骤S1、梯度计算;在平滑后的装盒后图像数据上,计算每个像素点的梯度,生成梯度图像,用于检测装盒后图像数据中的边缘;
步骤S2、非极大值抑制;对梯度图像进行非极大值抑制,保留梯度局部最大值,去除梯度较小值;
步骤S3、双阈值处理;设置梯度高阈值和低阈值,将梯度图像分为强边缘、弱边缘和非边缘三个部分;将梯度大于高阈值的像素标记为强边缘,对于梯度小于等于高阈值但大于低阈值的像素,标记为弱边缘;梯度小于等于低阈值的像素代标记为非边缘,排除掉非边缘;
步骤S4、边缘连接;保留强边缘像素点,将强边缘像素点与相邻的弱边缘像素点相连接;
霍夫变换的过程包括:
以装盒后图像数据中任意一个角点的像素点为坐标原点,以一个像素点的尺寸作为单位距离,建立平面XY直角坐标系,装盒后图像数据中每个像素点的X轴坐标为此像素点与Y轴在垂直方向上的相隔的像素点数量,Y轴坐标为此像素点与X轴在垂直方向上的相隔的像素点数量,像素点的坐标为平面XY直角坐标系中的坐标;
将Canny算法保留的像素点映射到斜率k‑截距b参数空间中,平面XY直角坐标系的一个像素点,在参数空间中是一条直线,设一个像素点的坐标为(X1,Y1),在参数空间表示为一条直线b=‑kX1+Y1;参数空间中的一个点,对应于平面XY直角坐标系的一条直线;当参数空间的一个点每多一条直线经过时,视为投票数加1,设置投票阈值,输出参数空间内投票数大于投票阈值的点,输出的点为平面XY直角坐标系中的包装盒内壁边缘直线与填充物边缘直线;填充物边缘直线所围成的图形在包装盒内壁边缘直线围成图形之内。
6.一种智能生产线打包装盒检测系统,其特征在于,包括:
数据采集模块(1),用于采集待装盒商品的三维训练数据、包装盒图像训练数据与装盒后图像数据;
三维匹配模块(5),基于三维训练数据,建立商品的三维立体模型库;基于实时收集到的三维训练数据,与三维立体模型库中的商品三维模型进行三维匹配,识别待装盒的商品种类并选择与商品对应的包装盒以及包装盒填充物;
模型训练模块(3),基于包装盒图像训练数据训练出计算包装盒破损评估值的第一机器学习模型;
控制模块(4)设置包装盒破损评估阈值并与包装盒破损评估值对比,生成不同的包装盒调节指令;
数据分析模块(2)基于装盒后图像数据,分析商品装盒后商品的失稳度,生成填充物调节指令;
基于三维立体模型库对商品种类进行编号,生成商品种类序列G;所述商品种类序列G中包含i个种类的商品,第i个商品种类标记为Gi;针对商品种类序列G中的每一种商品,设置与每一种商品对应的包装盒与填充物;
所述三维匹配通过I CP算法实现,过程如下:
步骤1、选择参考点云A;从三维立体模型库中随机选取一个三维点云数据作为参考点云A,参考点云A为实时三维训练数据中的点云B需要匹配的目标点云;
步骤2、预匹配点云B与参考点云A;对参考点云A和点云B进行特征信息提取,根据特征信息,在参考点云A与点云B中寻找相似的点,并初步确定点云B与参考点云A之间的位置和姿态关系;
步骤3、计算整体距离误差;以参考点云A中的每个点为参考,在点云B中找到与参考点云A中每个点一一对应的最近邻点,然后计算参考点云A中的每个点与点云B中最近邻点之间的距离误差;将距离误差相加得到参考点云A与点云B之间的整体距离误差;通过变换矩阵的方式对点云B中的每个点进行变换;重新计算参考点云A与点云B之间的整体距离误差;
多次迭代步骤3,使点云B与参考点云A之间的整体距离误差收敛;
步骤4:输出匹配结果;当点云B与参考点云A之间的整体距离误差收敛时,将点云B对应的商品种类作为匹配结果输出,匹配结果为待装盒的商品种类;
设置失稳度阈值,当包装盒失稳度大于等于失稳度阈值时,标记商品在包装盒里不稳固,生成填充物调节指令;当包装盒失稳度小于失稳度阈值时,标记商品在包装盒里稳固;
所述填充物调节指令包括向包装盒内添加填充物;
分析商品装盒后商品的失稳度方式如下:
灰度化处理装盒后图像数据,使用高斯滤波对灰度化处理后的装盒后图像数据进行平滑处理;
使用Canny算法提取装盒后图像数据的边缘点;
使用霍夫变换来提取边缘点构成的包装盒内壁边缘直线与填充物边缘直线;
将包装盒内壁边缘直线围成的面积减填充物边缘直线围成的面积的值的平方作为失稳度。
7.一种电子设备,其特征在于,包括:处理器和存储器,其中,所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,执行权利要求1~5任一项所述的一种智能生产线打包装盒检测方法。
8.一种计算机可读存储介质,其特征在于:储存有指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1~5任意一项所述的一种智能生产线打包装盒检测方法。