利索能及
我要发布
收藏
专利号: 2018100300983
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种智能商务旅居房车的混合增强智能认知方法,其特征在于:该方法具体包含如下步骤:

S1:驾乘人员与车载电子设备进行交流,并通过用户与车载电子设备的对话状态跟踪;

S2:根据跟踪采集到的驾乘人员的声纹信息对驾乘人员进行身份认证;

S3:对驾乘人员的行为意图进行分析;

S4:对驾乘人员进行人脸识别进行驾乘人员身份鉴定和疲劳监测;

S5:对驾乘人员进行手势识别;

S6:综合得出分析识别结果;

步骤S1具体为:

S11:通过语音识别引擎将驾乘人员的语音转换为文本数据,并对文本数据进行拼写纠错;

S12:将纠错之后的文本数据进行分词处理,获得词序列,通过Word2Vec获取词向量;

S13:通过级联卷积神经网络对词向量进行处理,获得对话场景类型;

S14:构建深度增强学习网络,通过两个独立的深度增强学习网络迭代完成对话状态行为策略的强化学习;

S15:通过三元组构建语义知识图,实时计算语义知识图中知识原子关联分值和嵌入代价的上下界,获得知识查询结果;

S16:采用多空间概率分布HMM参数生成算法生成相应的谱参数和基频生成平滑的声学特征序列,并提交给合成器生成最终语音。

2.根据权利要求1所述的一种智能商务旅居房车的混合增强智能认知方法,其特征在于:步骤S2具体为:

S21:对跟踪采集到的驾乘人员语音信息进行预加重、分帧加窗与端点检测处理;

S22:将处理后的语音信息进行傅里叶变换得到频谱能量分布,采用三角形滤波器组进行临界带划分,并进行幅度加权计算和离散余弦变换得到倒谱系数;

S23:将倒谱系数输入到说话人辨别UBM模型,获得声纹特征;

S24:进行声纹模板匹配,判定声纹信息是否对应。

3.根据权利要求2所述的一种智能商务旅居房车的混合增强智能认知方法,其特征在于:步骤S24具体为:

S241:定义能量函数为,

其中,h和v均为向量,分别代表隐层和可见层的状态,a与b表示可见层和隐层的偏置,vj和hj表示第i个可见层节点和第j个隐层节点的状态,m为隐层节点个数,Wij为可见层与隐层的连接权值,i为第几个排序数,j为第几个排序数,ai为第i个可见层偏置,bj为第j个隐层偏置;

S242:给定模型θ={wij,ai,bj}得到状态(v,h)的联合概率分布,其中, 为归一化因子;

S243:通过RBM的能量演化计算获得两类RBM‑i‑vector的高维高斯超向量,采用线性判别分析进行通道补偿;

S244:将补偿之后的两类高维高斯超向量进行余弦相似计算,并与预设阈值比较,判定声纹信息是否对应。

4.根据权利要求2所述的一种智能商务旅居房车的混合增强智能认知方法,其特征在于:步骤S3具体为:

S31:构建具有头肩识别的深度级联网络,对每帧图像采用多尺度滑动窗口按照预定步长截取一系列候选图块,形成待识别样本;

S32:将待识别样本输入训练好的头肩/非头肩识别模型进行识别分类;

S33:引入非线性模型和外观模型进行关联分析;

S34:检测姿态重合度并进行阈值比较。

5.根据权利要求4所述的一种智能商务旅居房车的混合增强智能认知方法,其特征在于:步骤S34具体为:

S341:将连续检测到的乘客姿态帧融合成一个完整的动作;

S342:设计两姿态融合规则,其中,其中f(i,j)为融合函数,1表示可以融合,0表示不能融合,为两个姿态检测框重合度,TIoU为重合度阈值,Shis为两检测框内直方图匹配分数,This为直方图匹配阈值,t1,t2为时刻,ΔT为两姿态时间差阈值。

6.根据权利要求4所述的一种智能商务旅居房车的混合增强智能认知方法,其特征在于:步骤S4中驾乘人员身份鉴定具体为:S401:通过径向对称变换粗定位人脸;

S402:采用监督梯度下降法(SDM)学习得到当前点到目标点的最优迭代向量,建立形状*

偏移量Δx=x‑x和当前形状x的特征 之间的线性回归模型,*

其中x为,b为偏置, 为回归模型;

S403:利用当前形状x和形变向量Δx迭代得到期望的位置向量;

x:=x+Δx

x:表示期望的位置向量;

S404:构造SDM的学习目标,获得第i个点与实际边界点的真实偏差,其中,k为迭代次数,xk表示迭代到第k次时的形状向量, 表示该形状向量中的第i个点的坐标, 为该形状向量中的第i个点的坐标形变量,bk为第k次迭代时的偏置;

S405:采用微分算子,

精确定位人的脸部器官,其中,Gσ(r)为平滑函数,I(x,y)为图像灰度矩阵,(a,b)为圆心,r为半径;

S406:将目标区域内的人脸器官与特征点进行拟合,得到特征点标记位置;

S407:每个特征点邻域范围内截取子图,获取人脸器官邻近特征,并将所有特征点的邻近特征串联构成特征点极限学习特征,S408:统计每个图像分区的极限学习特征作为泛化单隐层前馈神经网络的训练集,训练极限学习机,搜索融合特征的特定人的身份标签,完成身份鉴定;

步骤S4中驾乘人员疲劳监测具体为:S411:采用3D人脸建模方法实现驾驶人员的3D人脸建模,并根据S406‑S408的人脸识别方法实时追踪驾驶人员的头部姿态;

S412:利用3D人脸模型中的眼睛位置与头部姿态求解2D人脸图像中眼睛的位置;

S413:采用人脸点检测算法CLM定位眼睛区域中的特征点,并利用人脸图像纹理归一化校验所定位的特征点;

S414:根据虹膜的生理结构特性定位虹膜中心;

S415:根据参数化模板定位上下眼睑,提取驾乘人员眼睛动作;

S416:根据眼睛动作,分别提取眼睑开合程度、眼睛睁闭速度与虹膜运动特性相关疲劳特征,并与清醒状态下的特征进行对比,获取变异特征;

S417:采用贝叶斯网络分类器分析各个疲劳特征之间的关联性,完成驾乘人员疲劳监测。

7.根据权利要求6所述的一种智能商务旅居房车的混合增强智能认知方法,其特征在于:步骤S5具体为:

S51:采集驾乘人员的手势图像,并转换成图像序列Irgb;

S52:将图像序列Irgb转换为灰度图像序列Igray,并将图像Irgb转换为二值皮肤色讯图像序列Iskin;

S53:根据灰度图像序列Igray和二值皮肤色讯图像序列Iskin计算运动参数,作为帧间运动特征;

S54:规整手势运动的时间长度,构造概率函数,其中i表示第i个状态,j表示第j个特征参数,xi,j为时间规一化手势序列的运动特征和形状特征,λ表示手势类,μ表示各个特征参数的数学期望矩阵,σ为标准差,ui,j为第i个状态的第j个特征参数的数学期望矩阵,σi,j为第i个状态的第j个特征参数的标准差;

S55:构建出现完整手势序列观测的概率函数,其中,X为完整手势序列观测,m为手势状态和,n为手势特征和;

S56:对于各类手势识别,计算获得的最小值即为归属手势类别。