利索能及
我要发布
收藏
专利号: 2018115999079
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于语谱图提取深度空间注意特征的语音情感识别方法,其特征在于:包括以下步骤:步骤a:对已标注指定情感标签的标准情感数据库中的语音进行预处理,生成语谱图;

步骤b:将所述语谱图送入Attention Itti模型提取SEF,SEF为情感相关特征;

步骤c:将语谱图数据 放入微调的混合神经网络的前两层,提取出浅层特征图记为待标定特征,其中第i个待标定权重的特征图为步骤d:将所述SEF特征和所述浅层特征作为输入,送到CSWNet中,生成标定权重特征;

CSWNet为约束型空间权重网络;

步骤e:将所述标定权重特征送入微调的混合神经网络后面的网络层,提取深度情感特征,通过Softmax分类器进行情感分类,生成最终分类结果。

2.根据权利要求1所述的方法,其特征在于,步骤a中,预处理生成语谱图的具体公式为:x(n)为有序长语音时域信号,n为时序采样点信号,窗长为M,w(n)为汉宁窗,函数公式如下:已标注指定情感标签包括中性、恐惧、厌恶、高兴、烦躁、难过和愤怒。

3.根据权利要求2所述的方法,其特征在于,步骤b具体包括以下步骤:设训练语音 其中, 为第i条训练语音,train表示为训练数据;

先将语音转化成语谱图 再经高斯滤波后输出图(1)获取特征图

对于输入的语谱图 第j层图像计算公式为:

其中w(m,n)为下采样高斯核函数,采用 的平滑滤波器,经过8次高斯滤波下采,形成9层高斯金字塔结构;

第j层颜色特征图包括如下两组红绿和黄蓝通道,其中r,g,b分别表示图像的红色、绿色和蓝色通道,具体表达式如下:第j层亮度通道特征图为r,g,b的均值,具体表达式如下:第j层纹理通道特征图处理过程为,将语谱图 灰度化,经过局部二值算法得到再经梯度采样获得纹理通道特征,具体表达式如下:其中 (xc,yc)代表3×3邻域的中心元素,像素为ic,邻域像素值为ip,s(x)是符号函数,定义如下:第j层方向通道特征图为图像经过二维Gabor方向滤波器提取所得,具体表达式如下:(2)经中央周边差和归一化运算得到颜色、亮度、方向和纹理的显著图,分别表示为其中,wc、wi、wo和wt的比例为3:2:1:4。

4.根据权利要求3所述的方法,其特征在于,步骤d具体包括以下子步骤:(1)将步骤c中获得的待标定特征 和步骤b中获得的目标情感特征 分别经过全局池化进行数据压缩得到对应的特征数据,分别记为 和 具体公式如下:(2)将特征维度降低到输入的1/16,经过ReLu函数激活,通过一个FC层升回到原来的维度,具体公式如下:其中δ是指ReLU函数, 和 降维的比例系数为γ;

通过闸值公式选出与SEF特征相近的特征,获得最终标定权重特征,具体公式如下:如果 在 以α为邻域的半径内,取 的最大值,即提高与SEF特征具有强相关性特征的权重;如果 在 以α为邻域的半径外, 值不变,即相对抑制与SEF特征相关性小的特征权重;

(3)将待标定权重矩阵 与全局特征送入加权操作,获取标定权重特征