利索能及
我要发布
收藏
专利号: 2022102154865
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于动态时序图的模型性能推理方法,其特征在于,包括以下步骤:(1)选取数据集,构建种子模型,设定模型训练参数,使用数据集训练种子模型,得到种子模型的检查点;

(2)读取步骤(1)生成的种子模型的检查点,初始化无向有权图,将种子模型的映射为时间演化图;

所述步骤(2)具体为:

(2.1)读取神经网络模型检查点:

读取步骤(1)生成的种子模型保存的检查点 保存至矩阵θ;其中θ包含模型的全i i i部参数,K 表示是该模型第i层的核,对于卷积层有f 个滤波器;对于全连接层有f 个神经元;模型层数为deep_n,节点数为node_n;

(2.2)初始化图

i i

所述图 为无向有权图;将模型的K层的滤波器或神经元 映射为节点 即在Ki层创建f 个节点并分别表示为 设图的节点属性为空,相邻两层的节点之间的权边为 即初始化图为(2.3)将种子模型的映射到图 具体为:

将模型 的权重θ映射为图 具体表示为以下公式:其中,||·||为范数公式, 为第i层核的第k个滤波器, 为下一层核的第l个滤波器,即 为两个滤波器之间的参数取范数; 为第i层核的第k个节点和第j层核的第l个节点的权边;重复上述步骤,直至该模型的每层参数都被映射为图(2.4)重复上述步骤(2.1)~步骤(2.3),直至 全部映射为时间演化图所有种子模型Ν映射为时间演化图集合

(3)计算时间演化图对应的特征向量中心性,得到图节点特征;

(4)将步骤(2)得到的时间演化图中t时刻的图称为时间静态图,利用图节点特征计算每个时刻静态图的统计特征,聚合得到时序特征;

(5)基于时序特征构建损失函数,训练得到性能预测分类器,通过性能预测分类器完成模型性能推理;

所述步骤(5)具体包括以下子步骤:

(5.1)建立性能标签,划分性能充足和性能不足的模型;

将步骤 (1)得 到的种 子模型进 行分类,对应的 下游分类 任务性 能用分段阈值映射为类标L={l0,l1};其中l0表示性能不足的模型,l1表示性能充足的模型;

(5.2)划分训练集和测试集;

将步骤(5.1)得到的性能充足模型和性能不足模型,划分为训练集Dtrain和测试集Dtest;

其中训练集Dtrain分别取l0的90%和l1的90%,测试集Dtest取l0的其余10%和l1的其余10%;

(5.3)基于时序特征构建损失函数,利用步骤(5.2)的训练集Dtrain训练分类器,得到性能预测分类器;

自定义设置训练分类器的超参数:训练轮数、批处理样本数、梯度更新规则;训练分类器的损失函数公式如下:其中ω是分类器的权重参数;li表示模型训练的最优性能,取l0或l1;为训练迭代中模型性能的预测的概率值;直到分类器训练损失函数收敛,得到训练好的性能预测分类器;

(5.4)将步骤(5.3)训练得到性能预测分类器用于模型性能预测;

将性能预测分类器以精确率作为预测性能的评价指标;将步骤(5.2)得到的测试集Dtest输入到性能预测分类器,完成模型性能预测。

2.根据权利要求1所述的基于动态时序图的模型性能推理方法,其特征在于,所述数据集为包括Cifar10、Cifar100或Mnist在内的数据集;所述种子模型为包括Lenet5、VGG、Resnet在内的深度学习模型。

3.根据权利要求1所述的基于动态时序图的模型性能推理方法,其特征在于,所述构建种子模型具体为:改变种子模型训练的学习率和随机失活率,生成足量的种子模型其中lr_n和drop_n分别表示不同学习率和不同随机失活率的数量。

4.根据权利要求1所述的基于动态时序图的模型性能推理方法,其特征在于,所述训练种子模型具体为:设 为一神经网络在学习率lri和dropout率dropj下,训练迭代T次得到的模型集;每个 表示为t训练时刻保存的检查点,即为模型的t时刻的权重参数θ;其中每组模型集 的训练损失函数为:其中x表示参与训练的图像样本,y表示x样本对应的真实标签,lr表示模型集设定的学习率,drop表示模型集设定的随机失活率,θ表示模型需要更新的权重参数,class_n表示分类任务的类别数,yi表示样本x在类别i的真实分布,表示样本x在类别i的预测分布。

5.根据权利要求1所述的基于动态时序图的模型性能推理方法,其特征在于,所述步骤(3)具体为:图 的特征向量中心性的计算公式如下所示:

‑1

其中,A为图 的邻接矩阵,λ 为矩阵A的特征值;α为向量,用于度量图中的每个节点的重要性,经过多次迭代达到稳态后赋值给的长度为图的节点数;重复计算上述公式,直至时间演化图 均计算其相应的特征向量中心性 时间演化图集合G计算得到

6.根据权利要求1所述的基于动态时序图的模型性能推理方法,其特征在于,所述步骤(4)具体包括以下子步骤:(4.1)将步骤(2)得到的时间演化图中t训练时刻的图称为时间静态图,计算静态图的统计特征:对于每个时间静态图引入五个统计特征:均值、标准差、中位数、偏度和峰度;公式如下:med(x)=median(x)

其中,x表示图 的特征向量中心性 n表示 的向量长度,i表示对向量的索引, 表示向量的均值,σ表示向量的方差;即计算得到图 的静态统计特征(4.2)加强图的静态统计特征重新定义

其中,α为一个常数,表示前一时刻的特征对当前特征的影响,若α=1,则无影响;

(4.3)将步骤(4.2)加强后的每个时刻静态统计特征聚合形成时序特征;

(4.4)重复前述步骤(4.1)~步骤(4.3)直至时间演化图 的特征向量中心性计算得到时序特征 EC计算得到

7.一种基于动态时序图的模型性能推理装置,其特征在于,包括一个或多个处理器,用于实现权利要求1‑6中任一项所述的基于动态时序图的模型性能推理方法。

8.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,用于实现权利要求1‑6中任一项所述的基于动态时序图的模型性能推理方法。