1.一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,读者已通过查阅图书馆终端主机方式获知目标书籍所在区域,以及目标书籍的编号,包括以下步骤:(1)书脊识别准备:拍摄目标书籍所在书架区域的照片作为输入图像,并输入目标书籍的编号;
(2)标签区域检测:使用FCN‑32定位输入图像中的标签区域,并将标签区域子图切割出馈送至下一步骤;
所述步骤(2)中,标签区域检测过程如下:(21)FCN‑32对来自(1)的输入图像进行分割,分割出一系列标签区域掩码;
(22)利用二值图像连通性分析技术和图像处理算法处理标签区域分割掩码,得到一系列形状规则的连通区域,这些连通区域对应的原图位置即标签文字所在处,计算并记录每个连通区域的位置;
(23)根据记录的团标号及对应位置信息,通过图像的膨胀和腐蚀运算,使各个团变化为形状规则的连通区域;
(24)根据获得的连通区域轮廓及对应位置信息,从原图像中切割出所有的标签区域子图,馈送至步骤(3);
所述(21)的处理过程如下:
(211)FCN‑32由级联的5个ConvBlock、2个FcBlock、上采样层和输出层组成,ConvBlock由卷积激活层和池化层组成,在卷积激活层中,卷积层卷积核尺寸为3×3,步长为1,并具有补零运算,激活层激活函数为Relu,而池化层执行2×2的下采样运算,输入图像尺寸为L×W,ConvBlock‑1包含2个通道数为64的卷积激活层和一个池化层,输出特征图尺寸为(L/2,W/2,64),ConvBlock‑2包含2个通道数为64的卷积激活层和一个池化层,输出特征图尺寸为(L/4,W/4,64),ConvBlock‑3包含3个通道数为256的卷积激活层和一个池化层,输出特征图尺寸为(L/8,W/8,256),ConvBlock‑4包含3个通道数为512的卷积激活层和一个池化层,输出特征图尺寸为(L/16,W/16,512),ConvBlock‑5包含3个通道数为512的卷积激活层和一个池化层,输出特征图尺寸为(L/32,W/32,512),FcBlock‑1由2个通道数为4096的卷积激活层组成,输出特征图尺寸为(L/32,W/32,4096),FcBlock‑2由1个通道数为2的卷积层组成,输出特征图尺寸为(L/32,W/32,2),上采样层使用双线性插值算法恢复特征图尺寸,输出特征图尺寸为(L,W,2),输出层使用Softmax函数;
(212)双线性插值算法如下所述:待插值位置坐标为(x,y),已知四个点的值分别为Q11=(x1,y1)、Q12=(x1,y2)、Q21=(x2,y1)和Q22=(x2,y2),则双线性插值结果f(x,y)为:计算获得的f(x,y)值需要先取整再进行插值;
(213)Softmax函数σ(z)如下式所示:其中,z为一K维向量,e为自然对底数,输出层输出尺寸为(L,W,2)的预测概率图,最终,根据设定的阈值,将预测概率图转化为输入图像的分割掩码;
(213)Softmax函数σ(z)如下式所示:其中,z为一K维向量,e为自然对底数,输出层输出尺寸为(L,W,2)的预测概率图,最终,根据设定的阈值,将预测概率图转化为输入图像的分割掩码;
(3)标签文字识别:使用卷积模块+序列模块+解译模块三层模块级联的深度学习OCR方法识别标签区域子图中的文字,即识别出书籍编号,识别出的书籍编号被馈送至下一步骤;
所述标签文字识别的过程如下:
(31)接受步骤(2)中获得的标签区域子图,调整至固定尺寸,输入至三层深度OCR网络中进行文字行识别;
(32)卷积模块基于传统深度卷积网络和空间变换网络STN结构实现,接受固定尺寸的标签区域子图,并提取其所包含的不同方向、字号、字体的文字的字符特征;
(33)序列模块基于两个叠加的双向LSTM实现,接受来自卷积模块的字符特征序列,并预测特征序列中每一帧的标签分布;
(34)解译模块基于CTC实现,解译是将序列模块输出的每帧类别预测转换为标签文字序列的过程,在网络训练阶段,CTC被当作损失函数使用,避免了训练数据的额外对齐处理,以实现端到端的训练;
(4)目标书籍定位步骤:将识别出的所有书籍编号与读者输入的目标书籍编号进行相似性匹配,相似性最高的书籍编号对应的文字区域在照片中被醒目标识出来,即完成对目标书籍的定位。
2.如权利要求1所述的一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,所述(31)中,深度OCR网络由卷积模块、序列模块、解译模块三层模块级联实现,接受固定尺寸的标签区域子图以进行文字行识别。
3.如权利要求1或2所述的一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,所述(32)的处理过程如下:(321)卷积模块基于传统深度卷积网络和空间变换网络STN结构实现,接受固定尺寸的标签区域子图,并提取其所包含的不同方向、字号、字体的文字的字符特征;
(322)STN由三个部分组成,定位网络、网格生成器和像素采样器,其中,定位网络接受任意通道数的特征图,输出一个形状为(2,3)仿射变换参数表θ,θ中的6个参数实现对特征图不同程度的平移、旋转、缩放和剪切变换,网格生成器Tθ(G)用于得到输出特征图的坐标点对应的输入特征图的坐标点的位置,其计算方式如下:其中,θ为定位网络输出的仿射变换参数表,xi,yi代表像素i的坐标,s代表输入特征图,t代表输出特征图,像素采样器利用插值方法计算出某坐标位置上的像素的强度,具体的插值计算方式如下所示:
为输出特征图中c通道上像素i的强度值, 为输入特征图中c通道上坐标为(n,m)的像素的强度值;
(323)卷积模块的主结构为4个级联的ConvBlock,ConvBlock由卷积激活层和池化层组成,在卷积激活层中,卷积层的卷积核尺寸为3×3,步长为1,并具有补零运算,激活层激活函数为Relu,而池化层执行2×2的下采样运算,输入图像尺寸为1×w,ConvBlock‑1包含2个通道数为64的卷积激活层和一个池化层,输出特征图尺寸为(l/2,w/2,64),ConvBlock‑2包含2个通道数为128的卷积激活层和一个池化层,输出特征图尺寸为(l/4,w/4,128);
ConvBlock‑3包含2个通道数为256的卷积激活层和一个池化层,输出特征图尺寸为(l/8,w/
8,256),ConvBlock‑4包含2个通道数为512的卷积激活层和一个池化层,输出特征图尺寸为(l/16,w/16,512);此外,ConvBlock‑1和ConvBlock‑2之间加入了STN结构,为STN‑1,ConvBlock‑2和ConvBlock‑3之间也加入了STN结构,为STN‑2,ConvBlock‑4的输出被作为卷积模块的输出馈送至下一个模块,即序列模块。
4.如权利要求1或2所述的一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,所述(33)的处理过程如下:(331)一个基本的LSTM结构由一个cell和三个门组成,三个门分别为输入门i、输出门o和遗忘门g,基本LSTM的前向计算如下式所示:ft=σg(Wfxt+Ufht‑1+bf)it=σg(Wixt+Uiht‑1+bi)ot=σg(Woxt+Uoht‑1+bo)d
其中,运算定义为Hadamard乘积,t代表时间步,c0和h0值为0,xt∈R 为LSTM的输入向h h h
量,ft∈R为遗忘门激活向量,it∈R 为输入门的激活向量,ot∈R为输出门的激活向量,hth h h×d h×h h
∈R为隐状态向量,也是LSTM的输出变量,ct∈R为cell状态向量,W∈R ,U∈R 和b∈R分别为权重参数和偏置向量参数,d和h分别为输入特征的数量和隐藏单元的数量,σg为Sigmoid函数,如下式所示:
σc为双曲正切函数,如下式所示:
其中,x为函数输入,e为自然对底数;
(332)双向LSTM是两个方向相反的基本LSTM的堆叠,其中,基本LSTM的cell数量为256,则整个双向LSTM的cell数量为512;
(333)序列模块由两个双向LSTM结构堆叠组成,第一个双向LSTM接收卷积模块的输出,则输入为形如(l/8,w/8,256)的特征图,在序列模块中,该特征图被视为一个长l/8的序列数据,其中单帧的序列数据形如(w/8,256),第二个双向LSTM输出形如(l/8,w/8,512)的特征图,最后接上一个全连接层,输出为每一帧内文字的类别预测概率。
5.如权利要求1或2所述的一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,所述(34)的处理过程如下:(341)CTC损失函数L如下式所示:L(S)=‑lnΠ(x,z)∈sp(z|x)=‑Σ(x,z)∈sln(z|x)其中,p(z|x)代表给定输入x,输出序列z的概率,S为训练集;
(342)在使用阶段,CTC将直接输出标签文字序列的识别结果,识别出的标签文字被馈送至步骤(4)。
6.如权利要求1或2所述的一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,所述步骤(1)中,书脊识别准备过程如下:(11)读者使用随身智能终端拍摄书架区域,获得多本书籍书脊标签区域清晰的照片;
(12)读者输入目标书籍的编号;
(13)拍摄的照片被作为输入图像进行预处理,预处理包括光线矫正和模糊矫正。
7.如权利要求1所述的一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,所述(22)的过程如下:
(221)在二值图像连通性分析技术中,首先逐行扫描图像,每一行中连续的白色像素区域称为一个团,记录下每个团的起点、终点及所在行的编号;
(222)对所有的非第一行内的团,如果它与前一行中的所有团都没有重合区域,则给予它一个新的标号,若与上一行的团有重合区域,则给予它上一个团的标号,若与多个团重合,则将这些团标记为等价对;
(223)遍历所有团,将各个等价对内的团都标记为同一标号,最后记录所有的团标号及对应位置。
8.如权利要求1或2所述的一种基于深度学习OCR的图书馆图书快速定位方法,其特征在于,所述步骤(4)中,目标书籍定位过程如下:(41)从步骤(3)中识别到的标签文字中提取出所有书籍编号;
(42)建立书籍编号和标签区域位置间的映射关系,并将所有书籍编号与读者输入的目标书籍编号进行相似度匹配;
(43)根据储存的标签区域位置坐标,将相似度最高的识别编号对应的标签区域在原图像中醒目标识出,即完成对目标书籍的定位;
(44)若不存在某一识别编号相似度高于设定阈值,则反馈读者,目标书籍不在此处,读者应另选书架区域,并重新以步骤(1)(2)(3)(4)的顺序定位目标书籍。