1.一种基于机器视觉的自动码垛机器人系统,其特征在于,包括硬件系统和软件系统,其中硬件系统包括:上位机、工业相机、机械臂、末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区;其中上位机用于将烟包的信息发送给系统以及反馈系统信息,工业相机用于实时识别烟包信息,机械臂用于完成烟包的组垛和码垛,末端专用抓手用于抓取烟包,控制柜用于完成各个系统的连接与通信,烟包传送机构用于传送烟包,烟包矫正机构用于完成烟包位置的矫正,托盘自动升降机构和传送机构用于完成托盘自动上下升降和传送,缓冲区用于暂时存放烟包的区域。
软件系统包括:视觉识别程序、上位机程序、PLC控制程序以及机器臂控制程序,视觉识别程序对订单烟包的形状信息确认,并把数据传递给上位机;上位机程序对烟包形状数据进行分析处理,采用预排程算法确定订单序列中每个烟包需要进行的操作以及摆放位置,烟包组垛过程中设计了一套最优组垛算法对烟包进行规划,其中包括稳定性最优组垛算法、在线组垛算法、路径最优组垛算法;PLC程序用于控制翻转机构、烟包矫正机构、烟包传送机构、托盘自动升降机构和传送机构,实现对烟包的具体操作;机器人程序根据上位机发送来的路径编码执行针对每个烟包搬运;
控制设备之间的通信方式包括:相机与上位机的USB串口通信;PLC与上位机的RS232通信;PLC与传送机构、翻转机构、矫正机构、升降机构、抓手以及现场总线适配器之间的I/O通信;现场总线适配器与机器臂控制器之间的DeviceNet总线通信,通过相互通信将现场的各个控制设备联系起来并最终实现的码垛功能。
2.根据权利要求1所述的一种基于机器视觉的自动码垛机器人系统,其特征在于,稳定性最优组垛算法中,烟包的组和类型一共有三种,即交错组合,叠加组合,交错叠加组合,为保证码垛过程中稳定性最佳,防止塌陷,规定组合后每层条烟数量大于等于3。
3.根据权利要求2所述的一种基于机器视觉的自动码垛机器人系统,其特征在于,交错组合算法的约束条件为:其中N1表示下层的烟包条数,N2表示上层的烟包条数,%5表示除以5取余数,/5表示除以5取整数,下同;
叠加组合算法的约束条件为:
其中L1表示下层的烟包层数,L2表示上层的烟包层数,||表示或者,表达式a==b?c:d表示若a等于b则为c,否则为d,下同;
交错叠加组合算法的约束条件为:
其中N1表示下层的烟包条数,N2表示中层的烟包条数,N3表示上层的烟包条数,L1表示下层的烟包层数,L2表示中层的烟包层数,L3表示上层的烟包层数。
4.根据权利要求3所述的一种基于机器视觉的自动码垛机器人系统,其特征在于,所述在线组垛算法,即当连续两个烟包满足上文中的稳定性最优组垛算法中的交错组垛或叠加组垛,便可在传送带的矫正装置处在线完成烟包组垛。首先把第一个待组垛的烟包抓起一定高度,等到第二个烟包完成矫正后,再下去完成组和和抓取,最后直接码垛到托盘上;
所述路径最优组垛,通过对缓冲区的位置按照路径由短到长依次顺序编号,遍历缓冲区中是否有满足组合的烟包,若有则寻找路径最近的一个匹配烟包完成组垛。
5.根据权利要求4所述的一种基于机器视觉的自动码垛机器人系统,其特征在于,码垛算法具体步骤为:①判断烟包是否为5层,若是则执行②,否则执行③;②判断烟包顶层是否为5条,若是则直接放到托盘上,否则烟包的缺口朝内码放到托盘;③判断是否只剩托盘顶层烟包,若是码放到托盘,否则放到缓冲区;④当满足只剩托盘顶层烟包条件,将缓冲区上的烟包全部码放到托盘,完成整个码垛过程。
6.一种基于权利要求1-5之一所述系统的操作方法,其特征在于,包括以下步骤:
首先烟包从热缩膜包装机出来的订单包件通过传送带输送到自动码垛系统的始端,系统通过视觉系统的烟包形状识别算法判定订单烟包的形状和烟包条数,接着视觉系统把烟包信息发送给码垛系统,码垛系统根据通过组垛算法和码垛算法计算出烟包运行路径,并把具体指令发送给传送机构、翻转机构、矫正机构以及机械臂控制器,最后机械臂根据指示完成烟包组垛和码垛到托盘上,其中机械臂与抓手对烟包进行操作的运动路径分为四种:校正机构抓取点到托盘;矫正机构抓取点到缓冲区;矫正机构抓取点到缓冲区匹配后再到托盘;缓冲区到托盘;整个订单完成后,托盘传送和升降机构自动更换下一个托盘继续根据订单码垛。
7.根据权利要求6所述的操作方法,其特征在于,整个烟包形状识别过程包括:对图像进行预处理,具体包括:首先对原图进行灰度化处理,通过滤波减少图像噪声,然后用形态学方法优化图像,最后利用最大边缘检测提取目标形状轮廓及细化;
建立最优标准模板库,基于形状模板的快速匹配,最后根据匹配结果完成烟包的组垛、码垛作业。
8.根据权利要求7所述的操作方法,其特征在于,所述建立最优标准模板库具体是基于面积与K均值聚类建立最优形状模板库方法,具体包括:定义样本点Xi的面积值Ami表示同一类别m中其他训练样本点Xj的欧式距离的和的平均值,即
其中Nm表示每一类样本的数目,i=1,2,...,Nm,j=1,2,...,Nm,i≠j;
依次将Ami按照从小到大排序,Ami越小,则表示样本点Xi与其他样本点Xj都近,在该类别中代表性越强;采用基于面积建立标准库,从原始训练集中每一类m中选择面积值最小的样本组成标准库,在基于面积的基础上,结合K均值聚类进行模板训练学习构建最优烟包形状模板库;基于面积与K均值聚类建立标准库的具体流程为:①输入烟包的训练样本;②通过公式(1)计算输入训练样本的面积值,并将每一类m中的计算结果按照从小到大顺序排序;
③依次选择每一类m中面积值最小的训练样本,并将该样本作为初始模板添加到标准库中,统计每一类m中模板数量k;④判断k是否大于1,若大于1则执行步骤⑤,若为1执行步骤⑥;
⑤使用K均值聚类算法,把标准库中每一类m中的当前模板作为起始聚类中心,计算训练样本与各个聚类中心的距离,并将每个样本分配到离其最近的聚类中心,通过不断的循环迭代直到聚类中心不再变化,将新的聚类中心作为标准库中模板;⑥把所有的训练样本通过最近邻分类算法进行分类识别,并计算其分类正确率Acctrain;⑦判断Acctrain是否为1,若为
1则完成标准库的建立,否则将训练集中出错的样本挑选出来构建新的训练集,返回步骤①,通过不断循环学习更新标准模板库,直到全部满足要求,最终完成建立最优标准模板库。
9.根据权利要求8所述的操作方法,其特征在于,基于形状模板的快速匹配,具体步骤为:
步骤1:设置一个贪婪因子g,将公式Sj<Smin-(n-j)/n(2)转化为:
Sj表示模板图像和目标图像前j个点的内积和、Smin表示模板图像和目标图像的最小匹配值、n表示图形像素点总数、j表示图像中第j个像素点, 若g为1则代表越贪心,提前终止的概率越大,若g为0则代表所有的图像点都必须完全满足公式(2);
步骤2:首先通过g选择一部分点进行模板匹配,判断匹配分数达到预定值δ,若达到预定值则执行步骤3,否则匹配失败;
x y x y
步骤3:对已完成模板匹配的模板图像点ti=(ti ,ti)与目标图像点mi=(mi ,mi)之间的正确匹配点连接形成向量步骤4:计算剩余的点的匹配分数,若匹配分数满足Smin,则执行步骤5,否则匹配失败;
步骤5:对满足匹配分数Smin的模板图像点与目标图像点连接建立匹配向量选择满足Ki×Kj=0的向量,完成形状匹配。
10.根据权利要求9所述的操作方法,其特征在于,视觉系统完成烟包形状的识别以及烟包条数的确定,并把烟包信息发送给码垛系统,配合组垛算法和码垛算法确定码垛系统的执行指令,码垛系统把指定指令发送给传送机构、翻转机构、矫正机构、机械臂控制器以及托盘传送机构和升降机构;传送机构、翻转机构和矫正机构确定烟包的位姿;机械臂把烟包组垛和码垛到托盘;当一个订单完成码垛后,托盘传送机构和升降机构完成托盘的更换和传送。