利索能及
我要发布
收藏
专利号: 2022112008441
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.考虑误差传递及多模态数据的汽车智能座舱情感分析方法,其特征在于,包括:采集用户坐在汽车座舱内使用座舱内功能时发出的语音数据以及用户针对该座舱内功能的文本评价数据;

对采集到的数据进行预处理;

构建本文情感分类模型和语音情感分类模型,并采用轻量级人脸识别框架deepface作为面部情感分类模型;

通过相应的已经过预处理的数据对构建得到的本文情感分类模型、语音情感分类模型进行训练,得到训练完成的本文情感分类模型、语音情感分类模型;

通过训练完成的本文情感分类模型、语音情感分类模型以及面部情感分类模型进行相应的分析,得到三种分析结果;

将三种分析结果和各自的信息熵通过机器学习算法进行融合,从而得到汽车座舱情感分析结果。

2.根据权利要求1所述的考虑误差传递及多模态数据的汽车智能座舱情感分析方法,其特征在于,求取每条文本评价数据所对应的功能以及情感分类概率,其过程包括:

1)对采集到的座舱文本评价数据进行数据清洗;

2)对清洗后的座舱文本评价数据进行手工标注评论情感词和相对应的功能;

3)将标注后的的座舱文本评价数据输入至构建好的本文情感分类模型中进行训练;

4)通过训练完成的本文情感分类模型对输入的每条文本评价数据进行分析,得到每条文本评价数据所对应的功能以及情感分类概率。

3.根据权利要求2所述的考虑误差传递及多模态数据的汽车智能座舱情感分析方法,其特征在于,所述本文情感分类模型为Bert模型,构建Bert模型的过程如下:设汽车座舱内产生的文本评论数据C={ω1,ω2,…,ωt,…ωn},n为文本长度,ωt为评n*d论C中第t个词;首先,将C输入到输入层进行词编码,得到编码表示Xword∈R ,如下式所示:X=Embedding(C)

其中,Embedding表示编码层,d为编码层的编码维度;

对于位置向量,其计算公式如下:

其中,pos表示词在当前输入序列中的位置,i表示d中第i个维度;

对于段落向量,其计算公式如下:

SE=EiA+EiB

其中EiA表示为由特殊符号[SEP]区分的A句子,EiB表示为由特殊符号[SEP]区分的B句子;

完整的输入层向量结果为词向量,文本向量,段落向量三者分别编码的和,如下式所n*d示,最终得到X∈R ;

X=Xword+PE(C)+SE

Bert结构的编码器包含两个主要的子层:多头注意力层和前馈神经网络层,其中多头注意力层是Bert的核心子层;多头注意力层由多个自注意力模块组成,这部分计算公式如下:O

MultiHead(Q,K,V)=Contact(head1,...,headh)WQ K V

headi=Attention(QWi ,KWi ,VWi)其中,Q,K,V为每个注意力机制头在self‑attention过程中输入向量与其对应的三个随机初始化矩阵 计算产生的三个新向量, 为可学习的参数,h为Head的数量,dk表示K的编码维度;

前馈神经网络由两层全连接神经网络组成,用于提供非线性变化;

在编码器中,子层与子层直接的联系使用残差连接的方式,同时对残差连接的结果进行层归一化,其计算方式如下:Layeroutput=LayerNorm(x+SubLayer(x))其中,SubLayer为多头注意力层或者前馈神经网络层;

Bert模型中包含多个编码器,将各个编码器叠加,即上一个编码器的输出作为下一个编码器的输入,多个编码器叠加在一起构成一个完整的模型结构。

4.根据权利要求1所述的考虑误差传递及多模态数据的汽车智能座舱情感分析方法,其特征在于,求取每条语音数据的情感分类概率,其过程包括:

1)对发出的语音数据进行数据清洗;

2)使用python的librosa库对1)中清洗后的语音数据提取MFCC特征,每条数据所提取的特征均为一个一维向量;

3)采用提取得到的MFCC特征数据集对语音情感分类模型进行训练;

4)通过训练完成的语音情感分类模型对输入的每条语音数据进行分析,得到每条语音数据的情感分类概率。

5.根据权利要求1所述的考虑误差传递及多模态数据的汽车智能座舱情感分析方法,其特征在于,求取每条视频数据中面部表情的情感分类概率,其过程包括:

1)对包含有面部表情数据的视频进行清洗,并以设定秒数为时间间隔对每条视频进行图片帧抽取;

2)通过python的轻量级人脸识别框架deepface对1)中每帧图片的面部图像数据进行情感识别,得出每张图片中面部表情所对应的情感分类概率;

3)将2)中每条视频所抽取出的图片中面部表情的情感分类概率进行归一化处理,以每条视频所抽出的图片中面部表情的情感分类概率代表该视频中面部表情的情感分类概率。

6.根据权利要求1所述的考虑误差传递及多模态数据的汽车智能座舱情感分析方法,其特征在于,将三种分析结果和各自的信息熵通过机器学习算法进行融合,从而得到汽车座舱情感分析结果,具体包括:

1)通过信息熵计算公式,计算面部表情、语音、文本评价的情感分类概率的信息熵,分别记为HT、HV、HI;通过信息熵来反映每种模态信息所得出的情感分类概率的误差;信息熵公式如下所示:其中n代表情感分类的数目;

2)将三个模态的信息熵HT、HV、HI和三个模态的情感分类概率作为数据集,同时以文本情感分类模型所得出的座舱功能作为最终的情感评价对象;

3)将2)中的数据集划分为训练集和测试集;

4)通过python的sklearn库,采用SVM、逻辑回归以及KNN方法对训练集和测试集进行拟合,得出最终的汽车座舱情感分析结果。