1.一种微表情放大到宏表情的方法,其特征在于,所述微表情放大到宏表情的方法包括:从宏表情序列中提取初帧和中间帧,来模拟微表情的面部运动,把宏表情的中间帧作为微表情的顶帧;选择一个极佳的图像迁移模型FOMM,图像迁移模型FOMM包括运动估计模块和图像生成模块;FOMM网络以源图像和驱动帧为输入,使源图像中的对象根据驱动帧中的动作生成新的图像;FOMM网络根据给定宏表情序列数据集进行训练,使得网络掌握宏表情变化特征;给定宏表情序列中初帧作为源图像,其他帧作为驱动帧;数据集包括MMI和CK+宏表情数据集;运动放大模块被加入到运动估计模块和图像生成模块之间,以实现基于图像迁移的微表情放大功能;
所述微表情放大到宏表情的方法具体过程为:
步骤一,基于给定的预训练的运动估计模块,将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入,分别输出微表情特征图以及宏表情特征图;
步骤二,在宏表情特征图的指导下,微表情特征图被输入到运动放大模块中训练如何变化为宏表情特征图;生成的宏表情特征图被输入到预训练的图像生成模块,生成最终的放大的图像;
步骤三,预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块,以实现基于图像迁移的微表情放大功能;
所述步骤三中,预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块,以实现基于图像迁移的微表情放大功能具体过程为:运动放大模块为编码器‑解码器结构,前半部分是特征提取,后半部分是上采样,运动放大模块用于多尺度特征融合的跳过连接;从微表情到宏表情的放大过程跨度过大,引入双重注意力机制;
所述从微表情到宏表情的放大过程跨度过大,引入双重注意力机制具体过程为:
通过注意力模块将某个位置的响应计算为来自不同空间位置的所有特征的加权和,从而连接特征图任意两个位置的长期依赖关系和非线性变换信息,获取更好的放大效果;
所述获取更好的放大效果具体过程为:
注意力模块中特征图作为输入被送入到三个不同的卷积层并且生成了新维度的特征图;三个不同的卷积层分别为value_conv、query_conv和key_conv;query_conv和key_conv两个卷积层输出的两个特征图经过重塑、相乘以及使用softmax对权重进行归一化后得到注意力图;注意力图与value_conv卷积层输出的特征图通过一系列数学运算最终输出新的特征图。
2.如权利要求1所述微表情放大到宏表情的方法,其特征在于,所述上采样设置有尺度分别为128×128和64×64的两个上采样层,在两个上采样层后面添加注意力模块。
3.一种微表情放大到宏表情的系统,其特征在于,所述微表情放大到宏表情的系统包括:预训练的运动估计模块,将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入,分别输出微表情特征图以及宏表情特征图;
预训练的图像生成模块,将生成的宏表情特征图变换成最终的放大的图像;
运动放大模块,通过编码器‑解码器结构进行特征提取和上采样,并且用于多尺度特征融合的跳过连接;
所述微表情放大到宏表情的方法包括:
从宏表情序列中提取初帧和中间帧,来模拟微表情的面部运动,把宏表情的中间帧作为微表情的顶帧;选择一个极佳的图像迁移模型FOMM,图像迁移模型FOMM包括运动估计模块和图像生成模块;FOMM网络以源图像和驱动帧为输入,使源图像中的对象根据驱动帧中的动作生成新的图像;FOMM网络根据给定宏表情序列数据集进行训练,使得网络掌握宏表情变化特征;给定宏表情序列中初帧作为源图像,其他帧作为驱动帧;数据集包括MMI和CK+宏表情数据集;运动放大模块被加入到运动估计模块和图像生成模块之间,以实现基于图像迁移的微表情放大功能;
所述微表情放大到宏表情的方法具体过程为:
步骤一,基于给定的预训练的运动估计模块,将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入,分别输出微表情特征图以及宏表情特征图;
步骤二,在宏表情特征图的指导下,微表情特征图被输入到运动放大模块中训练如何变化为宏表情特征图;生成的宏表情特征图被输入到预训练的图像生成模块,生成最终的放大的图像;
步骤三,预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块,以实现基于图像迁移的微表情放大功能;
所述步骤三中,预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块,以实现基于图像迁移的微表情放大功能具体过程为:运动放大模块为编码器‑解码器结构,前半部分是特征提取,后半部分是上采样,运动放大模块用于多尺度特征融合的跳过连接;从微表情到宏表情的放大过程跨度过大,引入双重注意力机制;
所述从微表情到宏表情的放大过程跨度过大,引入双重注意力机制具体过程为:
通过注意力模块将某个位置的响应计算为来自不同空间位置的所有特征的加权和,从而连接特征图任意两个位置的长期依赖关系和非线性变换信息,获取更好的放大效果;
所述获取更好的放大效果具体过程为:
注意力模块中特征图作为输入被送入到三个不同的卷积层并且生成了新维度的特征图;三个不同的卷积层分别为value_conv、query_conv和key_conv;query_conv和key_conv两个卷积层输出的两个特征图经过重塑、相乘以及使用softmax对权重进行归一化后得到注意力图;注意力图与value_conv卷积层输出的特征图通过一系列数学运算最终输出新的特征图。
4.如权利要求3所述微表情放大到宏表情的系统,其特征在于,所述运动放大模块设置有注意力模块,注意力模块将某个位置的响应计算为来自不同空间位置的所有特征的加权和,从而连接特征图任意两个位置的长期依赖关系和非线性变换信息,获取更好的放大效果。
5.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1~2任意一项所述的微表情放大到宏表情的方法。
6.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1~2任意一项所述的微表情放大到宏表情的方法。