利索能及
我要发布
收藏
专利号: 2024102849242
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-13
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.面向不完整多模态数据的模糊知识蒸馏方法,其特征在于,包括以下步骤:S1、为从教师网络和学生网络的输入数据的连接矩阵中获取脑网络的深度特征,使用由Kawahara提出的边到边卷积E2E,边到节点卷积E2N,节点到图卷积N2G获取每一步的特征图;

S2、在特征学习过程中,使用模糊知识蒸馏模块对教师表示进行处理,用以获得经过概括和选择的信息;

所述步骤S2中特征学习过程的模糊知识蒸馏的具体步骤如下:S21、模糊处理,对于特定的通道c,通道上的每个特征点都会应用M个隶属度函数,每个隶属度函数为特征点分配一个模糊语言术语标签,所有隶属函数都用高斯函数表示,公式如下:其中, 表示坐标为(x,y)的通道c处的特征点,μk,c和 是第k个高斯成员函数的均值和标准偏差,Zx,y,k,c表示通道c中特征点(x,y)的第k个输出模糊语言标签;

对所有特征点的隶属度使用"AND"模糊逻辑求得 的模糊度, 的模糊度通过以下公式获得:E

模糊处理模块输出的特征表示为模糊度张量Z={Zx,y,c},其特征维数与输入特征T 相同;

S22、经过模糊处理后的特征图使用全局平均池化操作avg提取全局信息,然后通过特征重要性建模层fm获得重要性向量u,特征重要性建模过程表述为:u=fm(avg(Z)) (3)

其中,fm=sigmoid(Wm*X+bm),Wm是1×1卷积的权重矩阵,X是特征重要性建模层的输入张量,bm是偏差值;

E

S23、重构特征图,原始输入特征图T经特征重要性建模层fm获得的重要性向量u缩放,E′然后将缩放后的特征图与原始特征图相加,得到重构后的特征图T ,重构特征图的操作对特征图中的重要特征进行特征增强,重建特征图的过程如公式所示:E′ E E

T =T+u*T (4);

s

S24、特征选择,重建后的特征表示通过特征选择层f ,保留重要的特征映射,去除无用的特征映射,得到特征选择后的特征表示 特征选择过程如公式所示:其中,fs=Ws*Y+bs,Ws是1×1卷积的权重矩阵,Y是特征选择层的输入张量,bs是偏置值;

S3、设计了三类损失函数,分别为表示损失、预测分布损失和交叉熵损失,表示损失为学生网络学到的特征表示与教师网络之间的差异;预测分布损失为学生网络的最终预测分布与教师网络的差异;交叉熵损失为学生网络的预测标签和真实标签的差异;

所述步骤S3中所述设计三类损失函数的具体步骤如下:S31、表示损失Lrep衡量的是学生模型和教师模型所学习到的特征表示之间的差异,教师和学生通过各自的转换模块将特征表示转换为T和S,通过计算每次转换后教师和学生的特征表示之间的距离,并将三次转换后的距离之和作为表征损失Lrep,距离函数dp的定义如下:其中,Ti和Si分别表示张量T和S的第i个分量;

每次卷积变换后,使用距离函数计算教师模型和学生模型表征之间的距离,表征损失的计算公式为:Lrep=d1+d2+d3 (7)

其中,d1、d2和d3分别表示经过E2E、E2N和N2G卷积后特征变换后教师表示与学生表示之间的距离;

S32、预测分布损失Lpred衡量教师模型和学生模型之间最终预测分布的差异,教师模型

1 2 m 1 2 m

和学生模型的预测分布分别为pT=[pT ,pT ,...,pT]和ps=[pS ,pS ,…,pS],其中,m为类别类型,Lpred由以下公式给出:Lpred=dKL(pT,ps) (8)

其中,dKL是KL散度,用于衡量分布距离;

S33、交叉熵损失Lce是学生模型预测标签与真实标签之间差值的度量,其公式如下:其中,yi是样本i的真实标签, 是预测标签,|y|是所有样本的数量;

S4、通过最小化三类损失函数,对学生网络进行训练。