利索能及
我要发布
收藏
专利号: 2024102640006
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-13
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于课堂学习的小样本图像分类模型压缩方法,其特征在于,具体步骤如下:步骤1,教师网络的培训:构建末端三分支型教师网络模型,使用欧式空间监督,球面空间监督以及欧式自监督的联合学习方式利用基类数据集对三分支型教师网络模型中的参数进行预训练;

步骤2,学生网络班级的组建:构建末端单分支型学生网络,形成末端单分支型学生网络班级,同时利用新类数据集淘汰落后的班级;

步骤3,学生网络的预习:构建基于分组再分组卷积的辅助教具,末端单分支型学生网络使用基类数据集进行预习;

步骤4,班长的产生:构建基于多阶段特征偏差的竞争机制,产生学生网络班长;

步骤5,实时的课堂学习:构建实时的课堂学习机制,末端单分支型学生网络在末端三分支型教师网络的指导下,相互学习,共同成长。

2.根据权利要求1所述的一种基于课堂学习的小样本图像分类模型压缩方法,其特征在于,在步骤1中,具体步骤如下:S11:构建末端三分支型教师网络模型,简记为 其中 为参数为θ的主t t

干网络, 为参数矩阵为W的欧式空间监督分支, 为参数矩阵为V的球面空间监督分支,t为参数矩阵为R的欧式空间自监督分支;

S12:在基类数据集中抽取数量为N的一批图像,任意一幅图像被表示为xi,基类类别标签值表示为yi,将其旋转四个角度,对应的旋转标签值表示为Ri;将xi输入到三分支型教师网络的主干网络得到dt维的特征,该特征表示为 特征 分别通过欧式空间监督分支、球面空间监督分支以及欧式空间自监督分支,分别得到以下输出:t

式(1)中, 表示参数矩阵为W的第j个分量,C表示基类图像的分类类别总数;式(2),t t中 表示参数矩阵V的第k个分量,||·||表示L2范数运算;式(3), 表示参数矩阵为R 的第r个分量,R表示基类图像的旋转类别总数;

S13:基于公式(1)、公式(2)以及公式(3),建立欧式空间监督学习函数、球面空间监督学习函数以及欧式自监督学习函数,分别表示为:式(5)中 表示与第i个图像具有相同标签值所有图像组成的集合, 表示第a个图像的球面空间监督分支的输出值;

S14:建立欧式空间监督、球面空间监督以及欧式自监督的联合学习方式的目标函数,其表达式为:式(7)中,α1和α2为可调参数,利用公式(7)使用梯度下降方法优化末端三分支型教师网络模型中的参数,完成对教师网络的培训。

3.根据权利要求1所述的一种基于课堂学习的小样本图像分类模型压缩方法,其特征在于,在步骤2中,具体步骤如下:s

S21:构建末端单分支型学生网络模型,简记为 其中 为参数为θ 的主干网s络, 为参数矩阵为W的欧式空间监督分支;假设有D个班级,每个班级是由M个末端单分支型学生网络组成,第d∈D个班级表示为d={s1,s2,...sM};

S22:在新类数据集中抽取一批数量为N的图像,任意一幅图像表示为Ii,其对应的标签值表示为 将其分别输入到每个班级的末端单分支型学生网络模型,第d个班级的第M个末端单分支型学生网络的输出值表示为Oi,计算每个班级输出值与标签值之间的平均偏差,即:选择公式(8)的计算值最小的班级作为选择最优秀的班级作为后续步骤的操作对象。

4.根据权利要求1所述的一种基于课堂学习的小样本图像分类模型压缩方法,其特征在于,在步骤3中,具体步骤如下:S31:假设辅助教具的输入张量特征表示为 输出张量特征表示为其中H、W表示张量特征的高度和宽度,ds、dt分别表示学生网络、教师网络中特征通道的数目,并且ds<dt;将dt除以ds得到的商表示G,以及余数表示为dr;当dr>0,辅助教具中卷积的组数为G+1;在前G组中,卷积核为尺寸为H×W×ds的可分离卷积;第g组的卷积核g表示为K,将其作用于输入张量特征S的每一个通道得到张量特征 的第m个分量表示为:g

式(9)中,{k,l,m}、{i,j,m}、{k+i‑1,l+j‑1,m}分别表示 K,S张量特征的索引;在辅助教具的最后一组卷积中,由于卷积核的数目不等于ds,该组的卷积核采用尺寸为H×W×drG+1×ds点卷积;第G+1组的卷积核表示为K ,将其作用于输入张量特征S的每一个通道得到张量特征 的第m个分量表示为:G+1

式(10)中,{k,l,m}、{i,j,n,m}、{k+i‑1,l+j‑1,m}分别表示 K ,S张量特征的索引,将每组的输出特征在垂直方向拼接起来得到学生网络的输出特征表示为:式(11)中,cath(·)表示拼接算子;

S32:将上述步骤S31中构建的辅助教具添加到末端单分支型学生网络的主干网络中,在基类数据集中抽取数量为N的一批图像,任意一幅图像被表示为xi,基类类别标签值表示为yi;将xi输入到末端单分支型学生网络的主干网络得到dt维的特征,该特征表示为特征 通过欧式空间监督分支得到输出:的

式(12)中, 表示参数矩阵为Ws 第j个分量;

S33:基于公式(12),建立欧式空间监督预学习函数:

基于公式(13)使用梯度下降方法优化末端单分支型学生网络模型中的参数,完成对学生网络的预习。

5.根据权利要求1所述的一种基于课堂学习的小样本图像分类模型压缩方法,其特征在于,在步骤4中,具体步骤如下:S41:对于最优班级h中的M个学生网络,将具有辅助教具的主干网络中的神经网络层分为Q个阶段,则第m个学生的第q个阶段网络层的图像特征输出值表示为 同时将末端三分支型教师网络模型中的主干网络中的神经网络层分为Q个阶段,则第q个阶段网络层的图像特征输出值表示为S42:计算学生网络与教师网络之间的多阶段特征偏差公式,表达式为:式(14)中,βq表示可调参数,选择公式(14)的计算值最小的学生网络作为唯一的学生班长,简记为 其余的学生网络作为成员学生,其中第m个成员学生简记为

6.根据权利要求1所述的一种基于课堂学习的小样本图像分类模型压缩方法,其特征在于,在步骤5中,具体步骤如下:S51:在基类数据集中抽取数量为N的一批图像,任意一幅图像被表示为xi,基类类别标签值表示为yi,将xi输入到末端三分支型教师网络,末端单支型班长学生网络以及末端单支型成员网络的主干网络分别得到以下特征:将公式(15)、公式(16)、公式(17)中的特征分别通过末端三分支型教师网络、末端单支型班长学生网络以及末端单支型成员网络的欧式空间监督分支,得到以下输出值:S52:为了继承预习过程所学习的知识,为末端单支型班长学生网络以及末端单支型成员网络构建以下学习函数:S53:在实时的课堂学习过程中,末端三分支型教师网络通过构建讲授目标函数向末端单支型班长学生网络以及末端单支型成员网络传递知识,表达式为:S54:在实时的课堂学习过程中,末端单支型班长学生网络以及末端单支型成员网络之间通过构建讨论目标函数完成知识的交互,表达式为:S55:在实时的课堂学习过程中,末端单支型班长学生网络以及末端单支型成员网络的总的学习函数表示为:式(27)和式(28)中,γ1和γ2为可调参数基,于公式(27)和公式(28)使用梯度下降方法分别优化末端单支型班长学生网络以及末端单支型成员网络的参数,完成课堂学习,最后使用末端单支型班长学生网络进行小样本分类任务测试。