利索能及
我要发布
收藏
专利号: 2021100618269
申请人: 深圳市商汤科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据集生成方法,其特征在于,包括:

获取多种数据格式的参考数据、和多种样本数据伪造方式;

针对每种数据格式的参考数据,基于与所述参考数据对应的多种特征提取方式,分别对原始样本数据和所述参考数据进行特征提取,得到所述原始样本数据和所述参考数据分别对应的多种中间特征数据;

按照所述样本数据伪造方式,对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理,得到与所述第一中间特征数据对应的伪造样本数据;其中每个伪造样本数据对应一种数据格式的参考数据;

基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据,生成目标数据集;所述目标数据集用于训练目标神经网络;所述目标神经网络用于执行以下任务中的至少一种:图像分类、视频分类、伪造空间位置检测、伪造图像序列检测。

2.根据权利要求1所述的方法,其特征在于,根据以下步骤获取所述原始样本数据:获取不同人物属性和/或不同环境下的原始样本数据。

3.根据权利要求2所述的方法,其特征在于,所述环境包括以下至少一项:光照、场景;

和/或者,

所述人物属性包括以下至少一项:头部朝向、表情、五官、肤色。

4.根据权利要求1~3任一所述的方法,其特征在于,在所述基于所述多种数据格式的参考数据,对原始样本数据进行样本数据伪造之前,还包括:将所述原始样本数据进行对齐处理;其中,对齐处理后的原始样本数据中的目标对象的姿态符合预设条件;

按照预设尺寸,从所述对齐处理后的原始样本数据中截取包含所述目标对象的区域作为局部样本数据。

5.根据权利要求1所述的方法,其特征在于,所述按照所述样本数据伪造方式,对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理,得到与所述第一中间特征数据对应的伪造样本数据,包括:按照所述样本数据伪造方式对所述第一中间特征数据进行处理,得到中间伪造样本数据;

将所述中间伪造样本数据与所述原始样本数据合成,得到所述伪造样本数据。

6.根据权利要求5所述的方法,其特征在于,在所述按照所述样本数据伪造方式对所述第一中间特征数据进行处理,得到中间伪造样本数据之后,所述方法还包括:对所述中间伪造样本数据进行反对齐操作,生成反对齐后的中间伪造样本数据;其中,所述反对齐后的中间伪造样本数据中目标对象的姿态、与所述原始样本数据中目标对象的姿态匹配。

7.根据权利要求1~3任一所述的方法,其特征在于,所述基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据,生成目标数据集,包括:对所述伪造样本数据进行至少一种扰动方式下的扰动处理,得到扰动处理后的扰动伪造样本数据;

基于所述原始样本数据、和所述扰动伪造样本数据,生成所述目标数据集;或者,基于所述原始样本数据、所述伪造样本数据、以及所述扰动伪造样本数据,生成目标数据集。

8.根据权利要求1~3任一所述的方法,其特征在于,所述多种样本数据伪造方式包括:身份信息保留的伪造方式和身份信息修改的伪造方式。

9.根据权利要求8所述的方法,其特征在于,所述身份信息保留的伪造方式包括:利用所述参考数据,针对所述原始样本数据中以下至少一种与身份信息无关的属性特征进行伪造:脸部朝向、嘴部动作、表情、头发颜色、发型、性别、肤色、年龄、配饰。

10.根据权利要求8所述的方法,其特征在于,所述身份信息修改的伪造方式包括:将所述原始样本数据中与身份信息相关的特征数据替换为所述参考数据中与身份信息相关的特征数据。

11.根据权利要求8任一所述的方法,其特征在于,所述多种样本数据伪造方式还包括:混合伪造方式,所述混合伪造方式包括先采用所述身份信息保留的伪造方式进行样本数据伪造,再采用所述身份信息修改的伪造方式进行样本数据伪造;和/或,先采用所述身份信息修改的伪造方式进行样本数据伪造,再采用所述身份信息保留的伪造方式进行样本数据伪造。

12.一种伪造检测方法,其特征在于,包括:

获取待检测数据;

利用用于对数据进行伪造检测的目标神经网络,对所述待检测数据进行伪造检测,生成所述待检测数据对应的检测结果;其中,所述目标神经网络为基于权利要求1‑11任一所述的数据集生成方法生成的目标数据集训练得到的。

13.根据权利要求12所述的方法,其特征在于,在所述目标神经网络执行的任务中包括所述图像分类和/或所述视频分类的情况下,所述检测结果包括:真实类别、或包含伪造方式的伪造类别;

在所述目标神经网络执行的任务中包括伪造空间位置检测,且所述待检测数据为待检测图像的情况下,所述检测结果包括:所述待检测图像中伪造的部分图像数据在所述待检测图像中的位置信息,和/或所述伪造的部分图像数据对应的热力图,其中,所述热力图中不同像素位置处的颜色表征对应像素点的调整幅度;

在所述目标神经网络执行的任务中包括伪造空间位置检测,且所述待检测数据为待检测视频的情况下,所述检测结果包括:所述待检测视频包含的伪造图像中,伪造的部分图像数据在所述伪造图像中的位置信息,和/或所述伪造的部分图像数据对应的热力图;

在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下,所述检测结果包括:所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

14.根据权利要求13所述的方法,其特征在于,在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下,所述利用用于对数据进行伪造检测的目标神经网络,对所述待检测数据进行伪造检测,生成所述待检测数据对应的检测结果,包括:利用所述目标神经网络,对所述待检测视频中的每帧图像进行特征提取;

基于每帧图像对应的特征数据、以及相邻帧图像之间的特征数据,生成所述待检测视频对应的置信度图;其中,所述置信度图包括所述待检测视频中每帧图像属于伪造类别的置信度;

基于所述待检测视频对应的置信度图,生成所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

15.一种数据集生成装置,其特征在于,包括:

第一获取模块,用于获取多种数据格式的参考数据、和多种样本数据伪造方式;

伪造模块,用于针对每种数据格式的参考数据,基于与所述参考数据对应的多种特征提取方式,分别对原始样本数据和所述参考数据进行特征提取,得到所述原始样本数据和所述参考数据分别对应的多种中间特征数据;按照所述样本数据伪造方式,对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理,得到与所述第一中间特征数据对应的伪造样本数据;其中每个伪造样本数据对应一种数据格式的参考数据;

生成模块,用于基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据,生成目标数据集;所述目标数据集用于训练目标神经网络;所述目标神经网络用于执行以下任务中的至少一种:图像分类、视频分类、伪造空间位置检测、伪造图像序列检测。

16.一种伪造检测装置,其特征在于,包括:

第二获取模块,用于获取待检测数据;

检测模块,用于利用用于对数据进行伪造检测的神经网络,对所述待检测数据进行伪造检测,生成所述待检测数据对应的检测结果;其中,所述目标神经网络为基于权利要求1‑

11任一所述的数据集生成方法生成的目标数据集训练得到的。

17.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的数据集生成方法的步骤;或执行如权利要求12至14任一所述的伪造检测方法的步骤。

18.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至11任一所述的数据集生成方法的步骤;或执行如权利要求12至14任一所述的伪造检测方法的步骤。