1.一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在于,n>m,n和m均是正整数,n维深度模型到m维深度模型的知识迁移包括以下步骤:
1)将n‑1维数据x在第n维度上进行复制堆叠N次形成伪n维数据y;
2)将伪n维数据y输入到选择的教师网络中,所述教师网络为待迁移的高维深度学习模型,由教师网络来提取n维数据的特征;
3)将教师网络提取的n维数据特征在第n维度上求特征的均值,将求得的均值作为教师网络提取的n‑1维特征输出;
4)将n‑1维数据x输入到学生网络中,由学生网络提取n‑1维数据的特征,作为学生网络提取的n‑1维特征输出;
5)针对学生网络的特征输出,通过损失函数进行约束限制,使得学生网络的特征输出逼近教师网络的特征输出;
6)按步骤1)~5)重复设定次数,直到学生网络的特征输出与教师网络的特征输出相差小于预设阈值,最终的学生网络就是n维教师模型通过跨维度知识迁移完成后的n‑1维模型;
7)按照步骤1)~6)的方法,然后迁移到维度n‑2,直到维度m。
2.如权利要求1所述的一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在于:将n‑1维的数据在第n维度上进行复制堆叠,堆叠出来的n维数据具有额外维度的相关深度信息,用于后续作为教师网络的输入,满足了知识蒸馏中学生网络与教师网络输入一致的要求。
3.如权利要求1或2所述的一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在于:所述教师网络用于处理n维数据,进行相关的数据的处理,提取数据特征,在迁移学习体系中起到对学生网络进行指导学习的作用。
4.如权利要求3所述的一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在于:对于教师网络输出的n维特征,将其看为若干个n‑1维特征在第n维度上的堆叠,并计算这若干个n‑1维特征的均值作为教师网络输出的可作为指导学生网络学习逼近的特征。
5.如权利要求1或2所述的一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在于:所述学生网络用于处理n‑1维数据,进行相关的处理,在迁移学习体系中,学习教师网络,逼近教师网络的输出。
6.如权利要求5所述的一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在于:在训练过程中,利用损失函数对学生网络的输出进行约束,采用均方误差损失函数,使得学生网络的输出逼近教师网络,实现知识从教师网络迁移到学生网络。
7.如权利要求1或2所述的一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在于:在训练过程中,教师网络处于测试模式,固定教师网络的参数;学生网络则处于训练模式,反向传播梯度,优化学生网络的参数,使得学生网络的输出逼近教师网络,获得与教师网络相近的特征提取能力。
8.如权利要求1所述的一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法,其特征在在于:通过对n维特征的第n维度上求特征的均值,经过损失函数约束后,可将n维特征降低到n‑1维,由此可训练出n‑1维的学生网络,且具有与n维模型相近的特征提取能力;所述步骤7)中,同理,将训练好的n‑1维模型作为教师网络,将n‑1维特征在第n‑1维度上求特征的均值,经过损失函数约束后,可将n‑1维特征降低到n‑2维,由此训练出n‑2维的学生网络,且具有与n‑1维模型相近的特征提取能力,重复上述步骤,直到获得维度m的深度模型,即完成由高维深度模型迁移到目标低维度深度模型的知识迁移。