利索能及
我要发布
收藏
专利号: 2022115158652
申请人: 江苏理工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于3D视觉技术的首胎字符检测与识别方法,其特征在于,包括以下步骤:获取轮胎侧面字符区域的点云数据;

对所述点云数据进行预处理,包括过滤掉异常值点云数据以及将所述轮胎表面的曲面点云拟合后展开为平面点云;

将预处理后的点云数据转换成深度图像;

对所述深度图像进行标注,并生成与标注信息相对应的文件,其中,所述文件包括所述字符区域的坐标数据样本和所述字符区域内的字符数据样本;

根据所述字符区域的坐标数据样本对字符检测网络进行训练,以得到字符检测模型;

根据所述字符区域的字符数据样本对字符识别网络进行训练,以得到字符识别模型;

通过所述字符检测模型和所述字符识别模型对所述轮胎侧面字符区域进行检测和识别,将所述字符检测模型的检测结果和所述字符识别模型的识别结果分别在原图像中显示出来。

2.根据权利要求1所述的基于3D视觉技术的首胎字符检测与识别方法,其特征在于,将预处理后的点云数据转换成深度图像,具体包括:将预处理后的点云数据转换成灰度图像;

通过轮胎字符与非字符区域在Z轴方向的高度值特征差异,将Z轴上的高度信息转换为深度信息;

将轮胎字符的点云数据转换成深度图像。

3.根据权利要求2所述的基于3D视觉技术的首胎字符检测与识别方法,其特征在于,所述字符检测网络为基于DB算法的Resnet50网络。

4.根据权利要求3所述的基于3D视觉技术的首胎字符检测与识别方法,其特征在于,使用DB算法对Resnet50网络进行训练,具体包括:所述深度图像通过特征金字塔结构的Resnet50网络,通过上采样的方式生成特征层;

通过所述特征层预测得到动态阈值概率图和文本概率图;

通过所述动态阈值概率图和所述文本概率图形成DB二值图,并根据所述DB二值图结合标签生成文本框。

5.根据权利要求4所述的基于3D视觉技术的首胎字符检测与识别方法,其特征在于,所述字符识别网络为基于CTC算法的CRNN网络,所述CRNN网络包括卷积层、循环层和转录层,其中,所述循环层和所述转录层相连。

6.一种基于3D视觉技术的首胎字符检测与识别系统,其特征在于,包括:获取模块,所述获取模块用于获取轮胎侧面字符区域的点云数据;

预处理模块,所述预处理模块用于对所述点云数据进行预处理,包括过滤掉异常值点云数据以及将所述轮胎表面的曲面点云拟合后展开为平面点云;

图像处理模块,所述图像处理模块用于将预处理后的点云数据转换成深度图像;

标注模块,所述标注模块用于对所述深度图像进行标注,并生成与标注信息相对应的文件,其中,所述文件包括所述字符区域的坐标数据样本和所述字符区域内的字符数据样本;

第一训练模块,所述第一训练模块用于根据所述字符区域的坐标数据样本对字符检测网络进行训练,以得到字符检测模型;

第二训练模块,所述第二训练模块用于根据所述字符区域的字符数据样本对字符识别网络进行训练,以得到字符识别模型;

显示模块,所述显示模块用于通过所述字符检测模型和所述字符识别模型对所述轮胎侧面字符区域进行检测和识别,将所述字符检测模型的检测结果和所述字符识别模型的识别结果分别在原图像中显示出来。

7.根据权利要求6所述的基于3D视觉技术的首胎字符检测与识别系统,其特征在于,将预处理后的点云数据转换成深度图像,具体包括:将预处理后的点云数据转换成灰度图像;

通过轮胎字符与非字符区域在Z轴方向的高度值特征差异,将Z轴上的高度信息转换为深度信息;

将轮胎字符的点云数据转换成深度图像。

8.根据权利要求7所述的基于3D视觉技术的首胎字符检测与识别系统,其特征在于,所述字符检测网络为基于DB算法的Resnet50网络。

9.根据权利要求8所述的基于3D视觉技术的首胎字符检测与识别系统,其特征在于,使用DB算法对Resnet50网络进行训练,具体包括:所述深度图像通过特征金字塔结构的Resnet50网络,通过上采样的方式生成特征层;

通过所述特征层预测得到动态阈值概率图和文本概率图;

通过所述动态阈值概率图和所述文本概率图形成DB二值图,并根据所述DB二值图结合标签生成文本框。

10.根据权利要求9所述的基于3D视觉技术的首胎字符检测与识别系统,其特征在于,所述字符识别网络为基于CTC算法的CRNN网络,其中,所述CRNN网络包括卷积层、循环层和转录层,其中,所述循环层和所述转录层相连。