利索能及
我要发布
收藏
专利号: 2021115871005
申请人: 西南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于残差胶囊神经网络的图像分类系统,其特征在于,搭载有残差胶囊神经网络;所述残差胶囊神经网络包括第一残差胶囊模块、第二残差胶囊模块、第三残差胶囊模块、数字胶囊层;所述第一残差胶囊模块包括第一残差卷积子网和第一初始胶囊层,所述第二残差胶囊模块包括第二残差卷积子网和第二初始胶囊层,所述第三残差胶囊模块包括第三残差卷积子网和第三初始胶囊层;

所述第一残差卷积子网对输入的原始图像进行卷积计算后输出第一组特征图至所述第二残差卷积子网络及所述第一初始胶囊层,所述第一初始胶囊层将所述第一组特征图转变为第一初始胶囊组,所述数字胶囊层将所述第一初始胶囊组转化为第一数字胶囊组;

所述第二残差卷积子网络对输入的所述第一组特征图进行卷积计算后输出第二组特征图至所述第三残差卷积子网络及所述第二初始胶囊层,所述第二初始胶囊层将所述第二组特征图转变为第二初始胶囊组,所述数字胶囊层将所述第二初始胶囊组转化为第二数字胶囊组;

所述第三残差卷积子网络对输入的所述第二组特征图进行卷积计算后输出第三组特征图至所述第三初始胶囊层,所述第三初始胶囊层将所述第三组特征图转变为第三初始胶囊组,所述数字胶囊层将所述第三初始胶囊组转化为第三数字胶囊组;

所述数字胶囊层对所述第一初始胶囊组、所述第二初始胶囊组、所述第三初始胶囊组进行拼接后得到第四初始胶囊组并将其转化为第四数字胶囊组;

所述数字胶囊层对所述数字胶囊层中的四组数字胶囊进行拼接融合后输出M个新数字胶囊用于目标分类及图像重构,M等于图像分类的总类别数。

2.根据权利要求1所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:所述残差胶囊神经网络还包括重构模块,所述重构模块用于根据M个新数字胶囊生成与所述原始图像尺寸相同的重构图像。

3.根据权利要求2所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于,所述残差胶囊神经网络的损失函数为:+ 2 ‑ 2

其中,Ltotal表示总损失;Lk=Tkmax(0,m‑||vk||) +λ(1‑Tk)max(0,||vk||‑m)表示最后一个胶囊层中胶囊k的边缘损失,Tk表示胶囊k对应的第k类分类目标的匹配参数,当且仅当+ ‑分类正确时,Tk=1,否则Tk=0,vk表示胶囊k的激活向量,m 、m、λ均为胶囊向量模长控制参+ ‑数,m=0.9,m =0.1,λ=0.5;Lr表示重构损失,等于重构图像与原始图像的像素之间的均方误差;η表示重构损失在总损失的权重系数。

4.根据权利要求3所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:所述第一残差卷积子网、所述第二残差卷积子网及所述第三残差卷积子网均包括两个卷积层、一个跳连接层,每个卷积层采用引入了空洞卷积的same卷积;所述数字胶囊层通过动态路由算法及挤压激活函数将初始胶囊转化为数字胶囊。

5.根据权利要求4所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:在所述第一残差卷积子网、所述第二残差卷积子网或所述第三残差卷积子网的一卷积层中,对于一个有h个输入、o个输出的矩阵‑向量乘法运算,用以下公式表示:式(8)中,xn表示输入向量中的第n个元素,wmn表示权值矩阵中第m行n列的权值,ym表示输出向量中的第m个输出;

在该卷积层对应的硬件设计中,采用第一2D忆阻交叉阵列实现有h个输入、o个输出的矩阵‑向量乘法运算;

所述第一2D忆阻交叉阵列包括h行o列个忆阻器,x1~xh会转换为第一2D忆阻交叉阵列的行输入电压Vx1~Vxh,权值wmn映射为第一2D忆阻交叉阵列中第m行n列的忆阻器的电导值,输入电压Vxn与对应忆阻器的电导值wmn相乘,流过每个忆阻器的输出电流经由导线叠加之后得到列输出电流,每一列的输出电流经由电流电压转换电路转换为电压Vym之后输出。

6.根据权利要求5所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:对于所述第一初始胶囊层、所述第二初始胶囊层和所述第三初始胶囊层中任一初始胶囊层,该初始胶囊层具有R个胶囊单元,每个胶囊单元包含X个卷积单元,卷积核尺寸为U*U,在相应的硬件设计上,采用第一3D忆阻交叉阵列实现该初始胶囊层的运算;

所述第一3D忆阻交叉阵列包括T层与所述第一2D忆阻交叉阵列结构相似的第二2D忆阻交叉阵列,T层第二2D忆阻交叉阵列对应输入的T个特征图,每层第二2D忆阻交叉阵列的忆阻器规格为(R*X)列*(U*U)行,每层第二2D忆阻交叉阵列独立运算,不同层第二2D忆阻交叉阵列的输出在同一纵列相连,每层第二2D忆阻交叉阵列的输出电压在垂直纵列方向与其他层的输出求和,将T个特征图通过所述第一3D忆阻交叉阵列转换为一个一维电压输出;

在一个电压序列之后,所述第一3D忆阻交叉阵列输出R*X个一维电压信号,表示R个胶囊单元的一个X维向量;使用串行输入的方式在经过所有的电压序列之后,该初始胶囊层输出Y*Y*R个X维向量即Y*Y*R个初始胶囊,Y*Y*X*R表示输出特征图的尺寸。

7.根据权利要求6所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:所述数字胶囊层具有四个子层,用于将四组初始胶囊转化为对应的四组数字胶囊;任一子层包括M个胶囊单元,初始胶囊层输出的Y*Y*R个X维向量与该子层的M个胶囊单元共有Y*Y*R*X*M个权值变换矩阵,这些权值变换矩阵在硬件设计过程中被映射到Y*Y*R*X个独立的第二

3D忆阻交叉阵列中并行运算;

每个所述第二3D忆阻交叉阵列包括M层与所述第一2D忆阻交叉阵列结构相似的第三2D忆阻交叉阵列,每层第三2D忆阻交叉阵列的忆阻器规格为V行*W列,V行对应V阶张量的输入,W列对应W阶张量的输出,最终该子层输出M个W阶张量即M个维度为W的数字胶囊。

8.根据权利要求7所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:所述数字胶囊层的四个子层输出的数字胶囊的维度分别为W1、W2、W3、W4,则所述数字胶囊层对这种四组数字胶囊进行拼接后得到M个维度为W1+W2+W3+W4的新数字胶囊用于目标分类及图像重构。

9.根据权利要求3所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:所述重构模块包括一个全连接层和四个转置卷积层,每个所述转置卷积层先对输入特征图按规则补0,然后对补0后的特征图执行卷积运算;

定义一个转置卷积层的输入特征图的尺寸为H*H*N,卷积步长为S,对输入特征图的每个通道补0后的尺寸为Hout*Hout,其计算方式如下:Hout=H+(H‑1)×(S‑1)+2P+O   (11)

其填充规则为:首先在输入特征图的每两个像素之间插入S‑1个0,随后在特征图周围补充P圈0值,最后在特征图下方补充O行0值,在特征图右方补充O列0值。

10.根据权利要求1~9任一项所述的一种基于残差胶囊神经网络的图像分类系统,其特征在于:用于训练及测试所述残差胶囊神经网络的数据集包括来源于MNIST、Cifar‑10或SVHN数据集的M=10类万张以上灰度图像或RGB彩色图像。