利索能及
我要发布
收藏
专利号: 201610397707X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-11-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于遗传算法的多模态情感特征融合方法,其特征在于包含以下步骤:(1.1)建立一个多模态情感数据库,包含L类情感的样本,每类情感的样本数为n,总样本数为N=nL;

(1.2)对于所述数据库中的每个样本,提取T种不同模态的情感特征,其中第t种模态的情感特征用dt维特征向量表示,t=1,2,…,T,则每个样本的多模态情感特征向量维数为M=(d1+d2+…+dT);

(1.3)对于数据库中的N个样本,构造一个N*M大小的多模态情感特征矩阵A:其中,矩阵元素ai,j,k是属于第i类情感的第j个样本特征向量的第k维特征值,i=1,

2,…,L,j=1,2,…,n,k=1,2,…,M;

(1.4)采用遗传算法基于将多模态情感特征矩阵进行组合对多模态情感特征进行F次迭代的特征选择和融合,具体包含以下子步骤:(1.4.1)对于第k维特征,将属于第i类情感的n个样本的特征值进行组合,构成数组计算这个数组的均值 和方差定义第p类情感与第q类情感的类内类间距离为Rp,q,k:

定义遗传算法中使用的适应度函数为Rk:

那么M维特征的适应度函数值可以分别表示为R1,R2,…,RM;

(1.4.2)定义多模态情感特征矩阵A中第s列特征被选择的概率为:给定一个[0,1]区间的均匀随机数α,若ρs≥α,则多模态情感特征矩阵A中第s列特征被选择,否则不被选择,假定经选择后的多模态情感特征矩阵B是一个N*m大小的矩阵,m<M;

(1.4.3)使用遗传算法的单点交叉算子对特征矩阵B进行交叉操作,具体内容如下:将矩阵B的奇偶列分离出来,分别构成矩阵Beven和矩阵Bodd,大小分别为N*m1和N*m2,其中m1是矩阵B偶数列的列数,m2是矩阵B奇数列的列数,m1和m2的取值为:产生m1个[0,1]区间的随机数 将这些随机数依次与事先设定的交叉率p1比较,小于p1则返回逻辑值“1”,否则返回逻辑值“0”,这样就得到了一个长度为m1的逻辑向量,用 表示;重新产生m1个[0,1]区间的随机数 通过以下公式计算矩阵Beven和矩阵Bodd第r列的交叉点位置Sr(r=1,2,…,m1):Sr=((N-1)*yr*dr+N-1)%N+1

上式中,%是取余运算,对向量做取余运算是指对向量的每个元素均做取余运算;依次将矩阵Beven第r列的第Sr个元素之后的数据与矩阵Bodd第r列的第Sr个元素之后的数据进行互换,得到B′even和B′odd,将矩阵B′odd的每一列依次插入矩阵B′even的每两列之间,即构成交叉后的特征矩阵H,根据步骤1.4.1中的公式计算交叉后的特征的适应度函数值,m维特征的适应度函数值可以分别表示为R′1,R′2,…,R′m;

(1.4.4)将初始的多模态情感特征矩阵A和交叉后的特征矩阵H进行重组,具体内容如下:设定替换率p2,假定用特征矩阵H中的γ列数据替换特征矩阵A中的γ列数据,则γ的数值为p2与m相乘后再取整,构造数组Q1=(R1,R2,…,RM)和Q2=(R′1,R′2,…,R′m),将Q1和Q2的元素按照从大到小的顺序分别重新排序,排序后的位置信息分别用向量和向量 来表示,即将数组Q1中第 个

元素排到第k位,将数组Q2中第 (w=1,2,…,m)个元素排到第w位,得到排序后的b;将特征矩阵H中第 列的数据依次替换特征矩阵A中第 列的数据,得到重组后的特征矩阵A′,大小为N*M;

(1.4.5)当迭代次数达到事先设定的F值时,停止循环,得到最终的融合特征,否则返回步骤1.4.1进行下一次的迭代。

2.根据权利要求1所述的一种基于遗传算法的多模态情感特征融合方法,其特征在于步骤1.4.3中,当m为奇数时,交叉后的特征矩阵H的最后一列与特征矩阵B的最后一列相同。

3.根据权利要求1所述的一种基于遗传算法的多模态情感特征融合方法,其特征在于步骤1.2中所述情感特征包括语音特征、表情特征、姿态特征。