利索能及
我要发布
收藏
专利号: 202110443168X
申请人: 上海芯翌智能科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种知识蒸馏方法,其特征在于,所述方法包括:

获取样本图像,将所述样本图像分别输入至教师网络和学生网络,所述教师网络包括第一特征提取模块和第一分类器,所述第一特征提取模块包括多个级联的第一特征单元,所述学生网络包括第二特征提取模块和第二分类器,所述第二特征提取模块包括多个级联的第二特征单元,其中,所述第一特征单元与第二特征单元一一对应,所述样本图像具有已标注的标签;将每一第二特征单元计算得到的特征向量聚合至与该第二特征单元对应的第一特征单元计算得到的特征向量;

采用所述第一分类器根据所述第一特征提取模块输出的特征向量计算第一预测结果,并采用所述第二分类器根据所述第二特征提取模块输出的特征向量计算第二预测结果;

根据所述第一预测结果、第二预测结果和所述标签计算蒸馏损失;

根据所述蒸馏损失更新所述学生网络;

其中,所述多个级联的第一特征单元中最后一个第一特征单元与所述第一分类器连接,将未与所述第一分类器连接的第一特征单元记为第一中间特征单元,所述教师网络还包括至少一个第一辅助分类器,每一第一辅助分类器对应一个或多个级联的第一中间特征单元,所述方法还包括:采用所述第一辅助分类器根据与其对应的第一中间特征单元中最后一个第一中间特征单元输出的特征向量计算第一中间预测结果;

根据所述第一中间预测结果和所述标签计算第一中间损失;

根据所述第一中间损失更新与所述第一辅助分类器对应的第一中间特征单元;

或者,

所述多个级联的第二特征单元中最后一个第二特征单元与所述第二分类器连接,将未与所述第二分类器连接的第二特征单元记为第二中间特征单元,所述学生网络还包括至少一个第二辅助分类器,每一第二辅助分类器对应一个或多个级联的第二中间特征单元,所述方法还包括:采用所述第二辅助分类器根据与其对应的第二中间特征单元中最后一个第二中间特征单元输出的特征向量计算第二中间预测结果;

根据所述第二中间预测结果和所述标签计算第二中间损失;

根据所述第二中间损失更新与所述第二辅助分类器对应的第二中间特征单元。

2.根据权利要求1所述的知识蒸馏方法,其特征在于,根据所述第一预测结果、第二预测结果和所述标签计算蒸馏损失包括:根据所述第一预测结果和所述标签计算教师网络的损失;

根据所述第二预测结果和所述标签计算学生网络的损失;

将所述教师网络的损失与所述学生网络的损失之和作为所述蒸馏损失。

3.根据权利要求2所述的知识蒸馏方法,其特征在于,所述方法还包括:根据所述教师网络的损失更新所述教师网络。

4.根据权利要求1所述的知识蒸馏方法,其特征在于,将每一第二特征单元计算得到的特征向量聚合至与该第二特征单元对应的第一特征单元计算得到的特征向量之前,所述方法还包括:根据与该第二特征单元对应的第一特征单元计算得到的特征向量的维度,对每一第二特征单元计算得到的特征向量进行维度变换。

5.根据权利要求1所述的知识蒸馏方法,其特征在于,所述第一特征单元包括特征计算子单元和注意力子单元,所述特征计算子单元用于计算得到原始的特征向量;

所述注意力子单元用于基于注意力机制对所述原始的特征向量进行处理,以得到处理后的特征向量,所述处理后的特征向量作为所述第一特征单元输出的特征向量。

6.根据权利要求5所述的知识蒸馏方法,其特征在于,

针对具备对应关系的第一特征单元和第二特征单元,所述第二特征单元的结构与对应的第一特征单元中特征计算子单元的结构相同。

7.一种知识蒸馏装置,其特征在于,所述装置包括:

获取模块,用于获取样本图像,将所述样本图像分别输入至教师网络和学生网络,所述教师网络包括第一特征提取模块和第一分类器,所述第一特征提取模块包括多个级联的第一特征单元,所述学生网络包括第二特征提取模块和第二分类器,所述第二特征提取模块包括多个级联的第二特征单元,其中,所述第一特征单元与第二特征单元一一对应,所述样本图像具有已标注的标签;

特征聚合模块,用于将每一第二特征单元计算得到的特征向量聚合至与该第二特征单元对应的第一特征单元计算得到的特征向量;

预测模块,用于采用所述第一分类器根据所述第一特征提取模块输出的特征向量计算第一预测结果,并采用所述第二分类器根据所述第二特征提取模块输出的特征向量计算第二预测结果;

损失计算模块,用于根据所述第一预测结果、第二预测结果和所述标签计算蒸馏损失;

更新模块,根据所述蒸馏损失更新所述学生网络;

其中,所述多个级联的第一特征单元中最后一个第一特征单元与所述第一分类器连接,将未与所述第一分类器连接的第一特征单元记为第一中间特征单元,所述教师网络还包括至少一个第一辅助分类器,每一第一辅助分类器对应一个或多个级联的第一中间特征单元,所述装置还包括:第一中间计算模块,用于采用所述第一辅助分类器根据与其对应的第一中间特征单元中最后一个第一中间特征单元输出的特征向量计算第一中间预测结果;

第二中间计算模块,用于根据所述第一中间预测结果和所述标签计算第一中间损失;

第一中间更新模块,用于根据所述第一中间损失更新与所述第一辅助分类器对应的第一中间特征单元;

或者,所述多个级联的第二特征单元中最后一个第二特征单元与所述第二分类器连接,将未与所述第二分类器连接的第二特征单元记为第二中间特征单元,所述学生网络还包括至少一个第二辅助分类器,每一第二辅助分类器对应一个或多个级联的第二中间特征单元,所述装置还包括:第三中间计算模块,用于采用所述第二辅助分类器根据与其对应的第二中间特征单元中最后一个第二中间特征单元输出的特征向量计算第二中间预测结果;

第四中间计算模块,用于根据所述第二中间预测结果和所述标签计算第二中间损失;

第二中间更新模块,用于根据所述第二中间损失更新与所述第二辅助分类器对应的第二中间特征单元。

8.一种存储介质,其特征在于,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至6中任一项所述知识蒸馏方法的步骤。

9.一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至6中任一项所述知识蒸馏方法的步骤。