利索能及
我要发布
收藏
专利号: 2021103577133
申请人: 杭州初灵数据科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的影视海报自动生成方法,其特征在于:步骤一、获取用户提供的影视片单,以及用户为每一部影片提供的用于制作海报的非结构化数据;并将非结构化数据翻译成相应的海报制作模板;

步骤二、将所述的影视片单与自有的影视信息数据库进行影片的校验和确认;并根据所述的影视片单,利用互联网以及本地对应媒资视频进行素材图片的收集;

步骤三、将所述的收集到的素材图片输入到人脸检测模型,得到素材图片中的人脸数量和人脸坐标;根据得到的人脸坐标,截取对应的人脸图像,经过矫正后将其分别输入到人脸特征提取模型、人脸性别识别模型,分别得到人脸的特征向量以及每一张人脸对应的性别信息;

步骤四、将检测到的人脸的特征向量与自有的演员人脸特征向量库进行比对,得到图像中演员的姓名;并将素材图片输入到文本检测模型,得到文本的数量以及文本坐标;

步骤五、根据所述检测到的各素材图片中的人物数量、演员姓名、人脸坐标、文本数量以及文本坐标等信息来筛除不符合步骤一得到的海报制作模板的要求的素材图片,得到精选素材图片;

步骤六、根据所述的海报制作模板、精选素材图片以及图像中的人脸坐标、文本坐标等相关信息生成对应的影视海报;

步骤七、将所述的生成的多张影视海报输入到海报质量评估模型中,输出所述生成的影片海报的评估得分。

2.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:在步骤七执行后,将评估得分高于预设分值的影视海报输出,供使用者筛选。

3.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:步骤二中所述的影视信息数据库的获取方法,具体步骤如下:(1)根据影片具有的基本属性以及特点建立影视信息数据库的表结构,表结构包括影片名称、影片上映年份、导演和演员;

(2)以所述影视信息数据库的表结构为指导,利用互联网获取影片公开的信息;

(3)对采集到的影片信息进行人工清洗、校对以及补充,得到整理过的影片信息;

(4)将整理过的影片信息入库,并定期执行步骤(1)至(3)来进行影片信息的更新。

4.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:步骤四中所述的演员人脸特征向量库的构建过程如下:(1)以所述影视信息数据库中的演员字段为指导,利用互联网获取演员的公开文字信息和人脸头像图片;公开文字信息包含演员的姓名;

(2)将步骤(1)得到的演员人脸头像图片输入到人脸特征提取模型中,得到512维的演员的人脸特征向量;

(3)将所述512维的演员的人脸特征向量以及演员的姓名存储在关系型数据库中,得到所述演员人脸特征向量库。

5.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:步骤三中所述的人脸检测模型采用RetinaFace人脸检测算法;并选择ResNet50网络作为RetinaFace人脸检测算法的主干网络;其训练过程如下:以开源的WIDERFACE人脸数据集以及自行标注的用于人脸检测的图像作为训练集和测试集;在人脸检测模型上使用所述的训练集进行训练,并保存训练过程中生成的模型权重值文件以及模型网络结构文件,得到可用的人脸检测模型。

6.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:步骤三中所述的人脸特征提取模型采用ResNet100网络为模型的主干构建的ResNet100‑ArcFace人脸特征提取模型,其训练过程如下:以开源的LFW以及MegaFace人脸数据集作为训练集和测试集;在人脸特征提取模型上使用训练集进行训练,并保存训练过程中生成的模型权重值文件以及模型网络结构文件,得到可用的人脸特征提取模型。

7.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:步骤三中所述的人脸性别识别模型采用结合交叉熵损失函数构建的用于性别二分类的ResNet50模型,其训练过程如下:以开源的Asian‑Celeb人脸性别数据集作为训练集所述的人脸性别识别模型上使用训练集进行训练,并保存训练过程中生成的模型权重值文件以及模型网络结构文件,得到可用的人脸性别识别模型。

8.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:步骤四中所述的文本检测模型采用CRATF文本检测算法,并以VGG‑16网络作为CRATF 文本检测算法的主干网络,其训练过程如下:以开源的ReCTS文本检测数据集以及大量的人工合成的数据作为训练集和测试集,在文本检测模型上使用训练集进行训练,保存训练过程中生成的模型权重值文件以及模型网络结构文件,得到可用的文本检测模型。

9.根据权利要求1所述的一种基于深度学习的影视海报自动生成方法,其特征在于:步骤七中所述的海报质量评估模型采用基于VGG‑16网络以及SoftMax多分类器构建VGG‑16‑SoftMax评估模型,其训练过程如下:人工对现有的素材图片或影视海报进行质量评分标注,得到可用于海报质量评估模型训练的图片数据集,以该图片数据集作为训练集和测试集;在海报质量评估模型上使用训练集进行训练,保存训练过程中生成的模型权重值文件以及模型网络结构文件,得到可用的海报质量评估模型。

10.一种基于深度学习的影视海报自动生成系统,其特征在于:包括视片单接收与校正模块、影视海报模板编辑模块、影视海报二次编辑模块、影视海报浏览与下载模块、爬虫模块、算法模块、海报制作模块和任务调度模块。

视片单接收与校正模块:用于接收用户上传的影视片单;若影视片单包括影片的名称且该影片名称对应多部媒资,则将该影视片单中的信息与自有的影视信息库进行对比、校正,得到最终的影视片单;

影视海报模板编辑模块:用于编辑海报模板;影视海报模板编辑模块的编辑工具包括人像框、动态文字、静态文字、LOGO框和画像框;

影视海报二次编辑模块:用于对自动生成的影视海报进行二次编辑,当自动生成的影视海报不满足用户的需求时,用户通过该模块对海报进行二次编辑;影视海报二次编辑模块的编辑工具包括文字抹除、图像扩展、图像裁切、静态文字和动态文字;

影视海报浏览与下载模块:用于展示和下载自动生成的影视海报;

爬虫模块:用于收集互联网中公开的影片基本信息、演员信息、影片相关图片、演员相关图片,进而建立影视信息数据库;

算法模块:用于分析素材图片中各种元素的具体信息以及评估海报质量,该模块主要包括人脸检测模型、人脸特征提取模型、人脸性别识别模型、文本检测模型以及海报质量评估模型;

海报制作模块:用于生成所需的影视海报,该模块通过整合影视片单、海报模板、以及算法模块在素材图片中检测到的信息对素材图像进行筛选、裁切、尺度变换操作,生成所需的影视海报,并将生成的海报输入海报质量评估模型进行过滤,最终得到所需的影视海报;

任务调度模块:用于调度上述的各个模块;根据影视海报制作的流程进行调度,实现多张影视片单任务并发执行。