1.一种神经语义记忆存储方法,其特征在于,包括以下步骤:
S1、记忆存储M的建立,其是以类别无关的方式建立,即对于分类任务,每个类别的存储单元Mc是在类别c的数据基础上生成,与其他类别无关,为了更好体现语义层面的信息,其中建立M过程中一部分用神经网络实现图的相似性计算,其参数为w。
S2、检索部分,与其他记忆方法不同之处在于,其中检索出来的信息不是单纯的信息表示,而是以概率分布的形式表示出来,即给定新图像I,在M中寻找和支持集相关的知识,用概率分布形式表示:q(m|M,hI),其中涉及到参数S3、参数学习阶段,即用一些任务集数据,学习得到需要确定的两个参数。
2.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述输入:T个任务的支持数据集St,每一个支持数据集St包括C类样本数据,单层神经网络参数w,输出:建立的神经语义记忆存储方法M,步骤1:对不同的任务t=1:T,执行以下操作:步骤1.1对任务t中的类别c=1:C,执行以下操作;
步骤1.1.1判断类别c对应的存储空间Mc是否为空,如果不为空,执行步骤1.1.3;
步骤1.1.2将支持集中任务t中类别c的样本通过一个特征提取网络(可以是任意一个网络,这里选用VGG16网络),提取特征 放入到Mc中;
步骤1.1.3将支持集中任务t中类别c的样本i=1:N,通过一个特征提取网络,提取特征计算 和Mc的结构相似性如下:
3.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述其中[.,.]表示拼接操作,f函数使用一个单层的前馈网络生成,参数为w,表示转置,这种相似度的计算方法,是在特征表示h构成的图的基础上抽取相似性,其具有语义信息,步骤1.1.4对Mc中的样本进行线性组合生成 如下: 其中,σ为非线性激活函数,可以选择任意一种常见的激活函数。
4.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述步骤1.1.5更新类别c对应的存储内容Mc如下: 其中α为0到1之间的一个超参。
5.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述步骤1.2对所有类别完成步骤1.1.1-步骤1.1.5的操作,形成M=[M1,…,Mc],步骤2对所有任务执行步骤
1.1到步骤1.2的操作,更新M,输入:神经语义记忆存储方法M,新图像I,参数 输出:和新图像I相关的语义表示m。
6.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述步骤1:通过一个特征提取网络(VGG),提取图像I特征hI,计算hI和Mc(c=1:C)的结构相似性如下:
7.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述步骤2:计算图像I在记忆存储每个类别单元c=1:C的比重,
8.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述步骤3:建立多层感知神经网络,参数为 用其替代概率函数p(m|Mc)。这里假设概率分布为高斯分布,且高斯分布中的协方差矩阵为对角阵,则在该多层感知神经网络中,输入为Mc,输出为表征分布特性的均值和方差向量。
步骤4:计算概率如下:
9.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述步骤5:从步骤
4的分布中采样J个样本,将样本均值作为从记忆机制中检索的和图像I相关的语义信息如下:
10.根据权利要求1所述的一种神经语义记忆存储方法,其特征在于:所述在神经语义记忆存储方法检索过程中,隐含了一个用变分推理实现的分布近似的操作,即用q(m|M,hI)代替p(m|hI),在这种近似中可以看出,通过引入外部记忆M,可以有效建立以往任务中的语义知识和新图像(新任务)的关联,因此在正常的小样本学习任务中,对损失函数加入一项约束条件,将参数w和参数 引入到损失函数,就可以用正常的梯度下降对参数估计。