1.一种基于正交勒让德小波的可学习激活函数应用于图像分类的方法,其特征在于,步骤如下:S1:针对特定任务CIFAR‑100数据,划分数据集为训练集、测试集;
S2:选定深度网络模型,初始化网络参数、激活函数结构参数K、M,数值参数C;
S3:根据参数K、M、C生成勒让德小波,替换网络中激活函数;
S4:确定结构参数K;
S5:使用训练集训练模型,确定结构参数M;
S6:再次使用训练集训练模型,确定数值参数C,得到最优激活函数和网络权重W;
S7:将K、M、C代入勒让德小波,得到最优激活函数;
S8:将最优激活函数代入网络模型,使用测试集进行测试,提高网络总体图像分类准确率,并不使用预训练权重的情况,将网络总体图像分类准确率以及网络收敛,使用S7中的最优激活函数替换网络中原本激活函数,并将网络在测试集进行测试,观察网络总体进度和收敛情况;
S9:将测试结果与主流方法设计出的激活函数进行比较。
2.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数应用于图像分类的方法,其特征在于,选定数据集,将数据集按照一定比例划分为训练集和测试集;同时设定最大计算量MaxCal,限制网络反向传播过程中不得超过该计算量。
3.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数应用于图像分类的方法,其特征在于,选择深度网络模型,将网络各层的参数进行随机初始化,不载入任何预训练权重。
4.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数应用于图像分类的方法,其特征在于,勒让德小波按照下列方式生成:,
式中, 是勒让德多项式的
阶,取值为 为激活函数输入; 表示 阶勒让德多项式,由递推公式得到:
。
5.根据权利要求4所述的一种基于正交勒让德小波的可学习激活函数应用于图像分类的方法,其特征在于,将区间 平均分为 个激活区间,表示为:;
对特征提取器提取到的特征矩阵 进行极大极小归一化处理,得到新的矩阵 。
6.根据权利要求5所述的一种基于正交勒让德小波的可学习激活函数应用于图像分类的方法,其特征在于,每个激活区间对应的 个勒让德小波和权值C,K、M皆为超参数;C为个可学习的参数,使用梯度下降法随网络一同更新;将 代入对应区间的勒让德小波,与对应区间加权求和得到激活函数最终输出。
7.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数应用于图像分类的方法,其特征在于,使用S4、S5、S6中确定好的K、M、C值,并根据S3中的勒让德小波生成方式构造激活函数。