利索能及
我要发布
收藏
专利号: 2022100353845
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,所述抑郁识别方法包括以下步骤:S1,搭建ResNet101网络作为模型特征提取层,使用ELU作为激活函数并添加BN层,获得

2 3 4 5

C、C、C及C四个代表不同级别语义信息和细节信息的情感表征;

S2,将步骤S1中获得的多级情感表征输入到多层双向门控网络,提取多级特征间的依赖关系,连接双向输出,得到图像的关联表示V;

S3,将步骤S1中获得的多级情感表征送入多尺度自适应上下文模块,提取相应的多尺

3 4 5

度上下文特征,通过跨级融合得到各级的多尺度情感表示0、O和O;

5

S4,将C级情感表征导入卷积注意力模块,获得带有显著情感区域的情感表示D;

3 4 5

S5,将多尺度情感表示O 、O、O 和带有显著情感区域的情感表示D及图像的关联表示V进行特征融合,得到多线索情感特征E;

S6,将多线索情感特征E送入全局平均池,通过两个全连接层得到是否抑郁及抑郁严重程度两个标签。

2.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S6中,通过两个完全连接的分类网络对多线索情感特征E进行分类,其中一个分类网络用于生成标识是否抑郁的标签,另一个分类网络用于预测抑郁严重程度得分。

3.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S1中,所述模型特征提取层包括多个依次相连的残差块,每个残差块的卷积层后连接有BN层,并且残差块采用的激活函数为ELU激活函数。

4.根据权利要求3所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,所述残差块包括依次连接的第一卷积层、第一BN层、第二卷积层、第二BN层、第三卷积层、第三BN层和加法层;

所述第一卷积层采用64个1*1的卷积核对导入的深度为256维度的原始特征矩阵进行卷积,使特征矩阵的深度降维至64维度,第一卷积层的输出结果经第一BN层归一化处理后再采用ELU激活函数激活,以输出第一特征矩阵;所述第二卷积层采用64个3*3的卷积核对第一卷积层输出的深度为64维度的第一特征矩阵进行卷积,第二卷积层的输出结果经第二BN层归一化处理后再采用ELU激活函数激活,输出第二特征矩阵;所述第三卷积层采用256个1*1的卷积核对第二卷积层输出的深度为64维度的第二特征矩阵进行卷积,使特征矩阵的深度升维到256维度,第三卷积层的输出结果经第三BN层归一化处理后直接输出第三特征矩阵;

所述加法层用于将导入第一卷积层的深度为256维度的原始特征矩阵和第三卷积层输出的升维到256维度的第三特征矩阵进行相加操作,采用ELU激活函数激活后输出相应的情感表征结果。

5.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S2中,将从低级到高级和从高级到低级的特征作为两种顺序数据,采用多层双向门控网络以融合不同的依赖关系。

6.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S3中,所述多尺度自适应上下文模块包括主干层、子区域分支、区域情感亲和系数分支、单尺度上下文特征计算单元和组合单元;

l

所述子区域分支用于学习主干层的特征图X在不同尺度划分下的局部子区域表示,对l于每个尺度Sk,将主干层的特征图X 分为Sk×Sk个子区域n取正整数,每个子区域通过平均池和1×1卷积来提取特征;

所述区域情感亲和系数分支用于学习相同尺度下各子区域间的亲和系数权重l l其中, 是区域情感亲和系数,Sk是划分尺度,j是子区域位置, 是计算函数,M是Xl调整大小后的表示,l是特征级数,g(M)是全局信息特征; 通过1×1卷积和sigmoid激活l l l l函数来实现,对M 使用全局平均池,得到全局信息特征g(M),将M和g(M)相乘,并计算全局下每个局部位置j的情感亲和系数;

所述单尺度上下文特征计算单元用于计算单尺度上下文特征:其中, 是尺度Sk下的上下文特征, 是子区域;

所述组合单元用于将不同尺度的上下文特征进行组合,经过1×1卷积后进行批量归一l化,得到多尺度上下文特征Z:

l

其中,Z 是多尺度上下文特征,l是特征级数,f是按通道的组合函数,是不同尺度下的单尺度上下文特征。

7.根据权利要求6所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其

3 4 5

特征在于,步骤S3中,根据下述公式跨级融合得到各级的多尺度情感表示O、O和O:l l l

其中,l是特征级数,O是l级多尺度情感表示,Z是多尺度上下文特征,M是特征图调整l+1大小后的表示,M 是上层特征图调整大小后的表示。

8.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S4中,根据下述公式计算得到带有显著情感区域的情感表示D:5

其中,D1是中间特征图,GCAM是通道注意力模块得到的特征图,C是第五级情感表征,是矩阵逐元素相乘,GCSM是空间注意力模块得到的特征图。