1.一种用于说话人无关的唇语识别方法,其特征在于,包括:获取多个说话人样本的训练唇语图片序列;
将多个所述训练唇语图片序列输入身份与语义深度耦合模型中,得到身份特征序列、语义特征序列和重建图像序列;所述身份与语义深度耦合模型包括:2D稠密卷积神经网络、
3D稠密卷积神经网络和反卷积神经网络;所述2D稠密卷积神经网络用于编码所述训练唇语图片序列的身份特征,得到所述身份特征序列;所述3D稠密卷积神经网络用于编码所述训练唇语图片序列的语义特征,得到所述语义特征序列;所述反卷积神经网络用于对所述身份特征序列与所述语义特征序列进行重建耦合,得到所述重建图像序列;
根据所述身份特征序列中不同说话人样本的身份特征计算对比损失;
根据所述身份特征序列中相同说话人样本的不同帧的身份特征计算差异损失;
基于高斯分布方法计算所述语义特征序列的高斯分布差异损失;
根据所述身份特征序列和所述语义特征序列计算相关损失;
根据所述训练唇语图片序列和所述重建图像序列计算重建误差损失;
将所述语义特征序列输入唇语预测网络中,得到预测文本序列;
根据所述预测文本序列和真实文本序列计算监督损失;
以所述对比损失、所述差异损失、所述高斯分布差异损失、所述相关损失、所述重建误差损失和所述监督损失作为优化目标,对所述身份与语义深度耦合模型和所述唇语预测网络进行迭代寻优,得到最优唇语识别模型;
获取待识别唇语图片序列;
将所述待识别唇语图片序列输入最优唇语识别模型中,得到识别文本。
2.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述2D稠密卷积神经网络和所述3D稠密卷积神经网络均由稠密卷积神经网络框架构成;所述稠密卷积神经网络框架包括依次连接的稠密连接过渡层、池化层和全连接层;所述稠密连接过渡层包括多个稠密连接过渡单元;每个所述稠密连接过渡单元均包括一个稠密连接模块和一个过渡模块;
所述唇语预测网络为基于自注意力机制的seq2seq网络;所述唇语预测网络包括输入模块、Encoder模块、Decoder模块和分类模块;
所述输入模块分别与所述Encoder模块和所述Decoder模块连接,所述输入模块用于获取语义特征序列和语义特征序列对应的词向量序列,并将语义特征序列中不同时刻的语义向量和所述词向量序列中的词向量嵌入时间位置信息,所述Decoder模块分别与所述Encoder模块和所述分类模块连接,所述Encoder模块用于对嵌入时间位置信息的语义特征序列进行深度特征挖掘,得到第一特征序列;所述Decoder模块用于根据所述第一特征序列的注意力和嵌入时间位置信息的词向量序列的注意力得到第二特征序列,所述分类模块用于根据所述第二特征序列判定得到预测文本序列。
3.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述对比损失的计算公式为:
其中,Lc为对比损失;N表示所述说话人样本的数量; 表示第i个样本的第t帧图像;
表示第j个样本的第t′帧图像; 表示 的身份特征; 表示 的身份特征;y表示不同组样本是否匹配标签,当两组样本身份相同,y=1,否则y=0;margin为设定的阈值。
4.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述差异损失的计算公式为:
其中,Ld为差异损失;N表示所述说话人样本的数量, 表示第i个样本的第j帧图像;
表示第i个样本的第k帧图像; 表示 的身份特征; 表示 的身份特征;T表示说话人样本中的帧数。
5.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述高斯分布差异损失的计算公式为:
其中,Ldd表示所述高斯分布差异损失; 表示P组说话人样本中第i个样本的第t帧图像; 表示P组样本中第i个样本的第t帧图像的语义特征;ΣP表示P组说话人样本的语义特征的协方差矩阵;ΣQ表示Q组说话人样本的语义特征的协方差矩阵;μP表示P组说话人样本的语义特征的均值向量;μQ表示Q组说话人样本的语义特征的均值向量;det表示矩阵行列式的值;z表示语义编码特征的维度,T表示说话人样本中的帧数。
6.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述相关损失的计算公式为:
其中,LR表示所述相关损失;T表示说话人样本中的帧数;N表示所述说话人样本的数量;
表示第i个样本的第t帧图像; 表示 的身份特征; 表示 的语义特征。
7.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述重建误差损失的计算公式为:
其中,Lcon表示所述重建误差损失;T表示说话人样本中的帧数;N表示所述说话人样本的数量; 表示第i个样本的第t帧图像; 表示 的身份特征; 表示 的语义特征,conj表示身份特征向量和语义特征向量连接。
8.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述监督损失的计算公式为:
其中,Lseq表示所述监督损失;N表示所述说话人样本的数量;T表示说话人样本中的帧数;C表示文本类别的数量; 为样本i的第t帧的文本类别为j的真实概率, 为说话人样本i的第t帧的文本类别为j的预测概率;Si表示所述语义特征的编码矩阵;Ep表示基于自注意力机制的所述唇语预测网络, 表示第i个样本的第1帧图像, 表示第i个样本的第2帧图像, 表示第i个样本的第T帧图像; 表示第i个样本的第1帧图像的语义特征;
表示第i个样本的第2帧图像的语义特征; 表示第i个样本的第T帧图像的语义特征;第t项的唇语预测输出是根据所有帧的语义特征以及第0项到第t‑1项的唇语预测输出内容进行判定。
9.根据权利要求1所述的用于说话人无关的唇语识别方法,其特征在于,所述以所述对比损失、所述差异损失、所述高斯分布差异损失、所述重建误差损失和所述监督损失作为优化目标,对所述身份与语义深度耦合模型和所述唇语预测网络进行迭代寻优,得到最优唇语识别模型,包括:
以加权损失为优化函数,利用Adam优化器对所述身份与语义深度耦合模型以及所述唇语预测网络进行迭代学习,得到优化后的身份与语义深度耦合模型以及唇语预测网络;
其中,所述优化函数为L(θ)=Lseq+α1Lc+α2Ld+α3Ldd+α4LR+α5Lcon,其中,L(θ)为加权损失;
Lseq为所述监督损失;Lc为所述对比损失;Ld为所述差异损失;Ldd表示所述高斯分布差异损失;LR表示所述相关损失;Lcon表示所述重建误差损失;α1表示所述对比损失的权重,α2表示所述差异损失的权重,α3表示所述高斯分布差异损失的权重,α4表示所述相关损失的权重,α5表示所述重建误差损失的权重。
10.一种用于说话人无关的唇语识别系统,其特征在于,包括:第一获取模块,用于获取多个说话人样本的训练唇语图片序列;
特征输出模块,用于将多个所述训练唇语图片序列输入身份与语义深度耦合模型中,得到身份特征序列、语义特征序列和重建图像序列;所述身份与语义深度耦合模型包括:2D稠密卷积神经网络、3D稠密卷积神经网络和反卷积神经网络;所述2D稠密卷积神经网络用于编码所述训练唇语图片序列的身份特征,得到所述身份特征序列;所述3D稠密卷积神经网络用于编码所述训练唇语图片序列的语义特征,得到所述语义特征序列;所述反卷积神经网络用于对所述身份特征序列与所述语义特征序列进行重建耦合,得到所述重建图像序列;
第一计算模块,用于根据所述身份特征序列中不同说话人样本的身份特征计算对比损失;
第二计算模块,用于根据所述身份特征序列中相同说话人样本的不同帧的身份特征计算差异损失;
第三计算模块,用于基于高斯分布方法计算所述语义特征序列的高斯分布差异损失;
第四计算模块,用于根据所述身份特征序列和所述语义特征序列计算相关损失;
第五计算模块,用于根据所述训练唇语图片序列和所述重建图像序列计算重建误差损失;
文本输出模块,用于将所述语义特征序列输入唇语预测网络中,得到预测文本序列;
第六计算模块,用于根据所述预测文本序列和真实文本序列计算监督损失;
训练模块,用于以所述对比损失、所述差异损失、所述高斯分布差异损失、所述相关损失、所述重建误差损失和所述监督损失作为优化目标,对所述身份与语义深度耦合模型和所述唇语预测网络进行迭代寻优,得到最优唇语识别模型;
第二获取模块,用于获取待识别唇语图片序列;
识别模块,用于将所述待识别唇语图片序列输入最优唇语识别模型中,得到识别文本。