利索能及
我要发布
收藏
专利号: 2021105608719
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于贝叶斯神经网络权重约束的图像分类方法,其特征在于,包括以下步骤:S1:采集待处理图像数据集,将待处理图像数据集划分为训练集和测试集,并对其进行数据增强的预处理操作;

S2:根据预处理后的待处理图像数据集,搭建用于图像分类任务的贝叶斯神经网络;

S3:基于变分推理方法,利用训练集训练贝叶斯神经网络,使用L2正则化对贝叶斯神经网络的权重参数进行衰减,实现对贝叶斯神经网络的初步权重约束,并评估初步权重约束后的贝叶斯神经网络的分类性能;

S4:基于测试集,提取初步权重约束后的贝叶斯神经网络各层的权重参数,若初步权重约束后的贝叶斯神经网络的分类性能达到设定阈值且各层的权重参数分布位于设定期望阈值内,则完成对贝叶斯神经网络的权重约束;否则返回步骤S3,继续训练贝叶斯神经网络并进行权重约束;

S5:利用权重约束后的贝叶斯神经网络对待处理图像数据集进行分类;

所述步骤S3包括以下子步骤:

S31:假设变分后验分布为高斯分布,变分参数为θ=(μ,ρ),其中,μ表示均值参数,ρ表示标准差参数;

S32:从高斯分布(μ,ρ)中采样得到贝叶斯神经网络权重参数w的样本;

S33:基于变分推理方法,寻找使后验分布 和可变分布q(w|θ)之间的KL散度最小的新变分参数θ*, 表示训练集数据;

S34:利用蒙特卡罗法,将求解新变分参数θ*的过程转化为目标函数的形式,并记为贝叶斯神经网络的初始损失函数J0;

S35:将L2范数作为约束条件,在初始损失函数J0中添加约束项Ω(θ),得到损失函数S36:利用梯度下降法,训练贝叶斯神经网络,迭代更新变分参数θ,直至贝叶斯神经网络的整体误差小于阈值或达到预定的迭代次数,取得新变分参数θ*的集合;

S37:基于训练获得的新变分参数θ*,获得基于L2正则化训练后贝叶斯神经网络的权重参数w*,实现对贝叶斯神经网络的初步权重约束;

所述步骤S32中,贝叶斯神经网络权重参数w的样本通过采样单位高斯分布ε~N(0,1),按均值参数μ进行平移,并按非负标准差参数σ进行缩放获得,其计算公式为:其中,表示逐点乘法,σ=log(1+exp(ρ)),log(·)表示对数运算,exp(·)表示指数运算;

所述步骤S33中,新变分参数θ*的计算公式为:

其中,argminθ表示变分参数θ取最小值运算,DKL表示KL散度, 表示后验分布,q(w|θ)表示可变分布;

所述步骤S34中,贝叶斯神经网络的初始损失函数J0的计算公式为:其中,f(w,θ)表示目标函数的表达形式,log(·)表示对数运算, 表示训练集数据,P(w)表示权重参数w的先验分布, 表示给定权重参数w后训练数据 的似然分布;

所述步骤S35中,约束项Ω(θ)的表达式为:

其中,θi为变分参数θ的各个分量;

损失函数 的表达式为:

其中,λ表示正则化系数。

2.根据权利要求1所述的基于贝叶斯神经网络权重约束的图像分类方法,其特征在于,所述步骤S2中,搭建贝叶斯神经网络的方法为:根据待处理数据集的数据量与复杂度,定义网络结构,具体包括:设定贝叶斯神经网络的输入层和输出层节点数,设定隐含层数量及其节点数,设定激活函数。

3.根据权利要求1所述的基于贝叶斯神经网络权重约束的图像分类方法,其特征在于,所述步骤S36中,对贝叶斯神经网络进行训练的具体方法为:设置学习率α、正则化系数λ和迭代次数,迭代更新变分参数θ,并利用损失函数 评估贝叶斯神经网络的分类性能,直至贝叶斯神经网络的误差小于阈值或达到预定的迭代次数,取得新变分参数θ*的集合,迭代公式为:μ←μ(1‑λα)‑αΔμ

ρ←ρ(1‑λα)‑αΔρ

其中,μ表示均值参数,Δμ表示均值参数μ的梯度,ρ表示标准差参数,Δρ表示标准差参数ρ的梯度。

4.根据权利要求1所述的基于贝叶斯神经网络权重约束的图像分类方法,其特征在于,所述步骤S37中,基于L2正则化训练后贝叶斯神经网络的权重参数w*的获取方式为:基于新变分参数θ*=(μ*,ρ*),采样单位高斯分布ε~N(0,1),按新均值参数μ*进行平移,并按非负的新标准差参数σ*进行缩放,其计算公式为:其中,表示逐点乘法,σ*=log(1+exp(ρ*)),log(·)表示对数运算,exp(·)表示指数运算,ρ*表示新标准差参数。