利索能及
我要发布
收藏
专利号: 2018102589678
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于生成信息的方法,包括:

获取对婴儿进行拍摄所得到的图像序列;

将所述图像序列中的图像依次输入至预先训练的第一区域定位模型,得到所述婴儿的骨架图像区域序列;

基于所述婴儿的骨架图像区域序列和预先训练的第一特征提取模型,得到所述婴儿的骨架特征序列;

将所述婴儿的骨架特征序列输入至预先训练的心理状态预测模型,得到所述婴儿的心理状态信息。

2.根据权利要求1所述的方法,其中,所述基于所述婴儿的骨架图像区域序列和预先训练的第一特征提取模型,得到所述婴儿的骨架特征序列,包括:对所述婴儿的骨架图像区域序列中的骨架图像区域进行去噪处理,得到去噪处理后的骨架图像区域序列;

将所述去噪处理后的骨架图像区域序列中的骨架图像区域依次输入至预先训练的第一特征提取模型,得到所述婴儿的骨架特征序列。

3.根据权利要求1所述的方法,其中,在所述获取对婴儿进行拍摄所得到的图像序列之后,所述方法还包括:将所述图像序列中的图像依次输入至预先训练的第二区域定位模型,得到所述婴儿的脸图像区域序列;

将所述婴儿的脸图像区域序列中的脸图像区域依次输入至预先训练的第二特征提取模型,得到所述婴儿的脸特征序列;以及所述将所述婴儿的骨架特征序列输入至预先训练的心理状态预测模型,得到所述婴儿的心理状态信息,包括:将所述婴儿的骨架特征序列和所述婴儿的脸特征序列进行合并,得到合并特征序列;

将所述合并特征序列输入至预先训练的心理状态预测模型,得到所述婴儿的心理状态信息。

4.根据权利要求3所述的方法,其中,所述方法还包括:获取对所述婴儿发出的声音进行录制所得到的音频;

从所述音频中提取所述婴儿的音频特征序列;以及所述将所述婴儿的骨架特征序列和所述婴儿的脸特征序列进行合并,得到合并特征序列,包括:将所述婴儿的骨架特征序列、所述婴儿的脸特征序列和所述婴儿的音频特征序列进行合并,得到合并特征序列。

5.根据权利要求1所述的方法,其中,所述图像序列是对所述婴儿进行一次连拍所得到的多帧图像,或者所述图像序列是对所述婴儿进行拍摄所得到的视频中的多帧图像。

6.根据权利要求1所述的方法,其中,所述第一区域定位模型通过如下步骤训练得到:获取样本婴儿的图像和所述样本婴儿的图像的骨架图像区域的标注结果;

将所述样本婴儿的图像作为输入,将所述样本婴儿的图像的骨架图像区域的标注结果作为输出,对初始卷积神经网络进行训练,得到第一区域定位模型。

7.根据权利要求1所述的方法,其中,所述心理状态预测模型通过如下步骤训练得到:获取对样本婴儿进行拍摄所得到的图像序列和所述样本婴儿的心理状态信息;

对所述样本婴儿的图像序列进行分析,得到所述样本婴儿的骨架特征序列;

将所述样本婴儿的骨架特征序列作为输入,将所述样本婴儿的心理状态信息作为输出,对初始循环神经网络进行训练,得到心理状态预测模型。

8.一种用于生成信息的装置,包括:

图像序列获取单元,配置用于获取对婴儿进行拍摄所得到的图像序列;

骨架图像区域定位单元,配置用于将所述图像序列中的图像依次输入至预先训练的第一区域定位模型,得到所述婴儿的骨架图像区域序列;

骨架特征提取单元,配置用于基于所述婴儿的骨架图像区域序列和预先训练的第一特征提取模型,得到所述婴儿的骨架特征序列;

信息生成单元,配置用于将所述婴儿的骨架特征序列输入至预先训练的心理状态预测模型,得到所述婴儿的心理状态信息。

9.根据权利要求8所述的装置,其中,所述骨架特征提取单元包括:骨架图像区域去噪子单元,配置用于对所述婴儿的骨架图像区域序列中的骨架图像区域进行去噪处理,得到去噪处理后的骨架图像区域序列;

骨架特征提取子单元,配置用于将所述去噪处理后的骨架图像区域序列中的骨架图像区域依次输入至预先训练的第一特征提取模型,得到所述婴儿的骨架特征序列。

10.根据权利要求8所述的装置,其中,所述装置还包括:脸图像区域定位单元,配置用于将所述图像序列中的图像依次输入至预先训练的第二区域定位模型,得到所述婴儿的脸图像区域序列;

脸特征提取单元,配置用于将所述婴儿的脸图像区域序列中的脸图像区域依次输入至预先训练的第二特征提取模型,得到所述婴儿的脸特征序列;以及所述信息生成单元包括:

特征合并子单元,配置用于将所述婴儿的骨架特征序列和所述婴儿的脸特征序列进行合并,得到合并特征序列;

信息生成子单元,配置用于将所述合并特征序列输入至预先训练的心理状态预测模型,得到所述婴儿的心理状态信息。

11.根据权利要求10所述的装置,其中,所述装置还包括:音频获取单元,配置用于获取对所述婴儿发出的声音进行录制所得到的音频;

音频特征提取单元,配置用于从所述音频中提取所述婴儿的音频特征序列;以及所述特征合并子单元进一步配置用于:将所述婴儿的骨架特征序列、所述婴儿的脸特征序列和所述婴儿的音频特征序列进行合并,得到合并特征序列。

12.根据权利要求8所述的装置,其中,所述图像序列是对所述婴儿进行一次连拍所得到的多帧图像,或者所述图像序列是对所述婴儿进行拍摄所得到的视频中的多帧图像。

13.根据权利要求8所述的装置,其中,所述第一区域定位模型通过如下步骤训练得到:获取样本婴儿的图像和所述样本婴儿的图像的骨架图像区域的标注结果;

将所述样本婴儿的图像作为输入,将所述样本婴儿的图像的骨架图像区域的标注结果作为输出,对初始卷积神经网络进行训练,得到第一区域定位模型。

14.根据权利要求8所述的装置,其中,所述训练心理状态预测模型通过如下步骤训练得到:获取对样本婴儿进行拍摄所得到的图像序列和所述样本婴儿的心理状态信息;

对所述样本婴儿的图像序列进行分析,得到所述样本婴儿的骨架特征序列;

将所述样本婴儿的骨架特征序列作为输入,将所述样本婴儿的心理状态信息作为输出,对初始循环神经网络进行训练,得到心理状态预测模型。

15.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

16.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。