利索能及
我要发布
收藏
专利号: 2019104647390
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法,其特征在于,包括以下步骤:步骤1:采用包括归一化、最近邻插值法的算法对手写汉字图像进行预处理;

步骤2:基于卷积网络对预处理后的手写汉字数据进行有监督预训练;

步骤3:提取有监督预训练的隐含特征分别作为堆叠降噪自动编码机以及多层人工神经网络的特征输入;

步骤4:基于堆叠降噪自动编码机进行无监督学习,并提取训练完成以后的网络权值参数作为多层人工神网络预训练参数;

步骤5:基于小批量梯度降法对多层人工神经网络进行网络训练,实现半监督网络对图像特征融合;

步骤6:对多层人工神经网络进行性能测试并实现分类。

2.根据权利要求1所述的基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法,其特征在于,所述步骤1:采用包括归一化、最近邻插值法的算法对手写汉字图像进行预处理,具体包括:将原始手写汉字识别图像进行归一化处理,转化为64*64的二值图;使用最近邻插值法把二值图缩小为28*28的灰度图。

3.根据权利要求1所述的基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法,其特征在于,所述步骤2:基于卷积神经网络对预处理后的图像进行有监督预训练,具体包括:对于卷积神经网络有监督预训练,共构建6层网络;输入层是28*28大小的原始手写汉字图片;卷积层1由32个5*5大小的卷积核卷积输入层,得到32张特征图;池化层1是对卷积层1进行下采样处理,得到32张14*14大小的特征图;卷积层2由64个5*5大小的卷积核卷积池化层1,得到64张特征图;池化层2是对卷积层2进行下采样处理,得到64张7*7大小的特征图;

特征向量由卷积层2特征图进行特征融合得到;

初始化网络参数,进行前向传播训练;基于均方误差,进行反向传播调整网络参数;当误差满足精度要求,保存权值和偏置,网络训练完成,反之继续迭代调整权值和偏置,直至达到误差精度要求。

4.根据权利要求3所述的基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法,其特征在于,所述步骤3提取有监督预训练的隐含特征作为堆叠降噪自动编码以及多层人工神经网络的特征输入,具体为:提取卷积网络特征向量,其大小为m*1*1024,其中m为输入数据量大小,并作为无监督堆叠降噪自动编码网络和多层人工神经分类网络输入。

5.根据权利要求3所述的基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法,其特征在于,所述步骤4采用堆叠降噪自动编码机进行无监督学习,并提取训练完成的网络权值参数作为多层人工神网络预训练参数,具体为:堆叠两个降噪编码机,从而构造堆叠降噪自动编码机,噪音干扰层的输出作为第一个降噪编码机的输入,隐含层1作为编码层;隐含层1的输出作为第二个降噪编码机的输入,隐含层2作为编码层,输出层作为解码层;

初始化堆叠降噪自动编码机网络参数{w,b},其中w,b分别为权值项及偏置项;构造4层无监督训练网络,并确定网络节点数;设置随机高斯噪声系数ε,对输入进行加噪处理;进行多次网络迭代,直至损失函数取得最优;网络参数{w,b}基于小批量梯度下降法更新,流程如下:求出

其中,x为输入项,z为重构项;

设置网络学习率a=1,网络参数{w,b}更新如下:

待堆叠降噪自动编码网络训练完成,提取网络权值参数{w,b}作为多层人工神经分类网络预训练参数。

6.根据权利要求5所述的基于卷积-堆叠降噪编码网络的半监督学习图像识别方法,其特征在于,所述堆叠两个降噪编码机,从而构造堆叠降噪自动编码机,噪音干扰层的输出作为第一个降噪编码机的输入,隐含层1作为编码层;隐含层1的输出作为第二个降噪编码机的输入,隐含层2作为编码层,输出层作为解码层;具体包括:原始数据输入为x,则经过由随机高斯噪声构造的噪音干扰层的含噪输出为y,数学表达式为:y=x+ε,ε~(0,σ2I)  (3)

其中,ε表示高斯噪音;

利用编码函数f对y进行函数映射,得到编码层的输出特征表达h,编码操作为:h=f(y)=fs(wy+b)  (4)

式中,fs为激活函数fs,取用Sigmoid函数,w为连接权值,b为偏置项;

将特征表达h作为解码层的输入,解码函数g将h映射到输出层,得到重构输出Y,解码操作为:式中,fs为激活函数,取用Sigmoid函数, 为前向映射转置,为偏置项,损失函数定义为重构误差,重构误差为:其中,L(x,z)表示输入x与重构输出z的平方误差。

7.根据权利要求5所述的基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法,其特征在于,所述步骤5基于小批量梯度降法对多层人工神经网络进行网络训练,实现半监督网络对图像特征融合;具体包括:卷积神经网络隐含层的特征向量,其大小为m*1*1024作为多层人工神经网络数据输入,堆叠降噪自动编码网络权值参数{w,b},作为多层人工神经网络预训练参数,采用小批量梯度降法对多层人工神经网络进行网络训练,网络进行前向传播训练,其真实输出为Y,目标输出为T,均方误差为:E=Tr((Y-T)(Y-T)T)(7)

其中,Tr为求矩阵的迹,E为均方误差;输出的权值矩阵梯度可表示为:

其中,U为均方误差;

为使均方误差最小,进行反向传播调整网络参数;当误差满足精度要求,保存权值和偏置,网络训练完成,反之继续迭代调整权值和偏置,直至达到误差精度要求。