1.一种知识蒸馏方法,包括:将相同的待处理数据分别输入教师网络和学生网络;
分别获取所述教师网络和所述学生网络针对所述待处理数据生成的预定信息,并执行以下预定处理:根据所述预定信息构建正样本对和负样本对,根据所述正样本对和所述负样本对生成对比损失;
根据所述对比损失更新所述学生网络。
2.根据权利要求1所述的方法,还包括:所述将相同的待处理数据分别输入教师网络和学生网络之前,获取训练完成的所述教师网络以及随机初始化后的所述学生网络。
3.根据权利要求1所述的方法,其中,所述预定信息包括:中间特征和/或输出结果。
4.根据权利要求3所述的方法,其中,所述中间特征包括:中间特征图;
所述输出结果包括:输出图像;
所述根据所述预定信息构建正样本对和负样本对包括:从所述学生网络的中间特征图或输出图像中选取一个像素点,作为参考像素点;
从所述教师网络的对应图像中选取P个像素点,P为大于一的正整数,其中一个像素点与所述参考像素点的位置相同;
根据选取的像素点的特征构建所述正样本对和所述负样本对。
5.根据权利要求4所述的方法,其中,所述根据选取的像素点的特征构建所述正样本对和所述负样本对包括:
利用所述参考像素点的特征及与所述参考像素点位置相同的像素点的特征组成所述正样本对;
分别利用所述参考像素点的特征及与所述参考像素点位置不同的各像素点的特征组成负样本对。
6.根据权利要求4所述的方法,还包括:分别对所述正样本对和所述负样本对中的特征进行特征对齐和归一化处理。
7.根据权利要求4所述的方法,其中,所述根据所述正样本对和所述负样本对生成对比损失包括:
根据所述正样本对和所述负样本对中的特征进行预定运算,将运算结果作为所述对比损失。
8.根据权利要求1~7中任一项所述的方法,还包括:在生成所述对比损失之后,若确定获取到的对比损失的数量小于M,M为大于一的正整数,则重复执行所述预定处理,否则,根据所述对比损失更新所述学生网络。
9.根据权利要求8所述的方法,其中,所述根据所述对比损失更新所述学生网络包括:计算获取到的M个对比损失之和,将得到的和作为蒸馏损失;
根据所述蒸馏损失更新所述学生网络。
10.一种知识蒸馏装置,包括:第一处理模块、第二处理模块以及第三处理模块;
所述第一处理模块,用于将相同的待处理数据分别输入教师网络和学生网络;
所述第二处理模块,用于分别获取所述教师网络和所述学生网络针对所述待处理数据生成的预定信息,并执行以下预定处理:根据所述预定信息构建正样本对和负样本对,根据所述正样本对和所述负样本对生成对比损失;
所述第三处理模块,用于根据所述对比损失更新所述学生网络。
11.根据权利要求10所述的装置,其中,所述第一处理模块进一步用于,所述将相同的待处理数据分别输入教师网络和学生网络之前,获取训练完成的所述教师网络以及随机初始化后的所述学生网络。
12.根据权利要求10所述的装置,其中,所述预定信息包括:中间特征和/或输出结果。
13.根据权利要求12所述的装置,其中,所述中间特征包括:中间特征图;
所述输出结果包括:输出图像;
所述第二处理模块从所述学生网络的中间特征图或输出图像中选取一个像素点,作为参考像素点,从所述教师网络的对应图像中选取P个像素点,P为大于一的正整数,其中一个像素点与所述参考像素点的位置相同,根据选取的像素点的特征构建所述正样本对和所述负样本对。
14.根据权利要求13所述的装置,其中,所述第二处理模块利用所述参考像素点的特征及与所述参考像素点位置相同的像素点的特征组成所述正样本对,分别利用所述参考像素点的特征及与所述参考像素点位置不同的各像素点的特征组成负样本对。
15.根据权利要求13所述的装置,其中,所述第二处理模块进一步用于,分别对所述正样本对和所述负样本对中的特征进行特征对齐和归一化处理。
16.根据权利要求13所述的装置,其中,所述第二处理模块根据所述正样本对和所述负样本对中的特征进行预定运算,将运算结果作为所述对比损失。
17.根据权利要求10~16中任一项所述的装置,其中,所述第二处理模块进一步用于,在生成所述对比损失之后,若确定获取到的对比损失的数量小于M,M为大于一的正整数,则重复执行所述预定处理,否则,通知所述第三处理模块根据所述对比损失更新所述学生网络。
18.根据权利要求17所述的装置,其中,所述第三处理模块计算获取到的M个对比损失之和,将得到的和作为蒸馏损失,根据所述蒸馏损失更新所述学生网络。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1‑9中任一项所述的方法。
21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑9中任一项所述的方法。