利索能及
我要发布
收藏
专利号: 2023104113402
申请人: 成都天合一成科技服务有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数字仪表示数端到端识别方法,其特征在于,包括以下步骤:S1、获取原始数字仪表示数图像;

S2、从原始数字仪表示数图像中提取多张特征图,组成初始特征金字塔;

S3、对初始特征金字塔进行多尺度和多层次的特征融合,得到带有示数位置信息的特征图;

S4、对带有示数位置信息的特征图进行图像分割,生成概率图和阈值图;

S5、基于概率图和阈值图通过自适应可微二值化方法预测示数位置,得到近似二值图;

其中,一个随模型训练而自适应地逼近标准二值化函数的可微二值化函数 ,把过去可微二值化函数中数值固定的曲率转化为一个可训练参数,其计算方法如下所示:式中,为函数输入; 为双曲正切函数; 为

对数函数;是相似度因子, ,当 足够小,近似函数就能够接近标准二值化函数;

在形式上,将自适应训练过程作为分割网络的损失最小化问题,如下式所示,表示网络输入,则表示对应的网络输出:由此,便能够计算出 在反向传播过程中的梯度并对其使用L2正则化约束进行自动调整,其形式化表示如下:

因此在可微二值化模块中,可以将可微二值化函数转化为下式作为RetinaDB所使用的可微二值化函数:

式中,表示近似二值图;和 分别代表近似二值图、

概率图和阈值图这三张图中每个像素点的横纵坐标值; 为双曲正切函数; 为对数函数;是相似度因子;P表示概率图;T表示阈值图;

在检测头预测出概率图P和阈值图T后,此时的P和T的高度和宽度与输入图片是相同的;

采用自适应可微二值化函数把概率图P和阈值图T作为输入,计算得到每个像素点的权重值只能是0或1的近似二值图 ;在近似二值图中,像素点的权重值为1代表该像素点属于仪表示数区域,作为检测的前景;像素点的权重值为0则代表该像素点不属于仪表示数区域,作为检测的背景;把近似二值图作为一个包含仪表示数区域的二值掩膜,用于特征图块的提取;

S6、以近似二值图作为二值掩膜,从带有示数位置信息的特征图中提取示数区域的特征图块;

S7、对示数区域的特征图块进行示数识别,得到数字仪表示数内容;其中,包括S71、构造示数识别网络模型;所述示数识别网络模型包括启动器和解码器,所述启动器包括第一嵌入层和与第一嵌入层的连接的第一多头注意力层,所述解码器包括第二长短期记忆网络层以及分别与第二长短期记忆网络层连接的第二嵌入层、第二多头注意力层、第一长短期记忆网络层;

S72、利用启动器的第一嵌入层将字符序列开始标识转换为独热编码向量;

S73、利用启动器的第一多头注意力层根据示数区域的特征图块和独热编码向量提取字符序列开始标识的特征向量;

S74、利用解码器的第一长短期记忆网络层根据字符序列开始标识的特征向量和初始时间片的状态向量得到初始时间片的隐藏状态向量;

S75、利用解码器的第二嵌入层、第二长短期记忆网络层和第二多头注意力层根据初始时间片的隐藏状态向量、字符序列开始标识和示数区域的特征图块进行循环迭代,得到字符序列结束标识。

2.根据权利要求1所述的一种数字仪表示数端到端识别方法,其特征在于,步骤S2包括以下分步骤:S21、采用轻量级深度卷积神经网络从原始数字仪表示数图像中提取多张不同尺度的特征图;

S22、将提取的多张不同尺度的特征图经过卷积操作,调整为统一通道数的特征图;

S23、根据统一通道数的特征图组成初始特征金字塔。

3.根据权利要求1所述的一种数字仪表示数端到端识别方法,其特征在于,步骤S3包括以下分步骤:S31、对初始特征金字塔中每组相邻层的特征图进行向下融合操作,得到向下融合后的特征金字塔;

S32、对向下融合后的特征金字塔中每组相邻层的特征图进行自底向上路径增强操作,得到向上增强后的特征金字塔;

S33、对向上增强后的特征金字塔中各个特征图进行卷积操作,得到通道数减小至设定比例的特征图,再上采样至设定尺寸,将处理后的各个特征图串联得到带有示数位置信息的特征图。

4.根据权利要求3所述的一种数字仪表示数端到端识别方法,其特征在于,步骤S31包括以下分步骤:S311、对初始特征金字塔中每组相邻层的特征图,将高层特征图进行两倍双线性插值上采样,得到与低层特征图尺寸相同的特征图;

S312、将步骤S311得到的特征图与低层特征图逐元素相加,得到第一融合特征图;

S313、对第一融合特征图进行深度可分离卷积操作,得到与第一融合特征图通道数相同数量的单通道特征图;

S314、分别对步骤S313得到的各个单通道特征图进行逐点卷积操作,将所有单通道特征图在深度方向进行加权组合生成第二融合特征图。

5.根据权利要求1所述的一种数字仪表示数端到端识别方法,其特征在于,步骤S4包括以下分步骤:S41、构建示数区域分割网络模型;所述示数区域分割网络模型包括级联的第一卷积层、第一批标准化层、第一ReLU激活层、第一反卷积层、第二批标准化层、第二ReLU激活层、第二反卷积层、第三批标准化层和第三ReLU激活层;

S42、利用第一卷积层、第一批标准化层、第一ReLU激活层对带有示数位置信息的特征图进行处理,得到第一分割特征图;

S43、利用第一反卷积层、第二批标准化层、第二ReLU激活层对第一分割特征图进行处理,得到第二分割特征图;

S44、利用第二反卷积层、第三批标准化层和第三ReLU激活层对第二分割特征图进行处理,生成概率图和阈值图。

6.根据权利要求1所述的一种数字仪表示数端到端识别方法,其特征在于,步骤S6包括以下分步骤:S61、以近似二值图作为二值掩膜,将带有示数位置信息的特征图与二值掩膜逐个元素相乘,得到过滤后的特征图;

S62、计算过滤后的特征图中包含目标示数区域的最小外接矩形;

S63、从过滤后的特征图中裁剪出所有最小外接矩形内的特征图块;

S64、将裁剪得到的特征图块统一调整为固定大小,得到示数区域的特征图块。