利索能及
我要发布
收藏
专利号: 2023116713718
申请人: 翔飞(天津)智能科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于AI技术的视频制作系统,其特征在于:所述基于AI技术的视频制作系统包括视频解码模块、特征提取模块、内容识别模块、镜头选择模块、视频帧处理模块、视频合成模块、视频摘要生成模块、特效动态渲染模块;

所述视频解码模块基于输入的视频文件,采用基于深度学习的解码算法进行解析,提取出连续的图片帧,生成帧序列;

所述特征提取模块基于视频帧序列,采用卷积神经网络进行图像特征学习,并生成特征数据集;

所述内容识别模块基于特征数据集,采用递归神经网络解析时间序列信息,自动识别与分类视频内容,并生成内容摘要;

所述镜头选择模块基于内容摘要,采用强化学习策略参照场景连续性和情节发展,选择镜头,生成镜头决策列表;

所述视频合成模块基于高质量视频帧,采用视频编码技术,将处理过的帧重新编码合成为新的视频文件,生成增强后视频;

所述视频摘要生成模块基于增强后视频,采用长短期记忆网络与注意力机制,提取视频中的关键信息,生成视频摘要;

所述特效动态渲染模块基于视频摘要,利用场景解析和深度学习技术,动态添加或调整视频特效,匹配视频内容和情感,生成特效视频;

所述帧序列具体为按时间顺序排序的视觉图片序列,所述特征数据集具体为多组图片帧的视觉特征和语义标注,所述内容摘要具体包括片段内的时间信息、主要事件和人物,所述镜头决策列表具体为基于情节需求选定的镜头顺序和时间点,所述高质量视频帧具体指经过超分辨率重建和样式迁移后的视频帧;

所述镜头选择模块包括决策支持子模块、镜头评估子模块、编辑规划子模块;

所述决策支持子模块基于内容摘要,采用基于模型的强化学习,进行镜头价值评估,并进行决策优化,生成镜头选择方案;

所述镜头评估子模块基于镜头选择方案,采用图像质量评价算法,进行镜头内容质量评估,并进行视觉效果分析,生成镜头质量评估报告;

所述编辑规划子模块基于镜头质量评估报告,采用序列决策过程,进行剪辑规划,并进行场景流程优化,生成镜头决策列表;

所述基于模型的强化学习具体指通过模拟和预测环境反馈来学习最佳策略的方法,所述图像质量评价算法具体为包括图像清晰度、色彩饱和度、对比度的视觉特性评价,所述序列决策过程用于根据预定的规则和目标选择最优的动作序列;

所述视频帧处理模块包括超分辨率子模块、样式迁移子模块、质量评估子模块;

所述超分辨率子模块基于镜头决策列表,采用深度学习卷积神经网络算法进行超分辨率重建,增强画面细节,生成超分辨率视频帧;

所述样式迁移子模块基于超分辨率视频帧,采用迁移学习和深度卷积网络进行样式迁移,利用预训练的风格化模型调整视频帧的视觉风格,生成风格化视频帧;

所述质量评估子模块基于风格化视频帧,采用图像质量评估指标,包括SSIM结构相似性指标和PSNR峰值信噪比,进行质量评估,生成质量评估报告;

所述深度学习卷积神经网络包括特征提取层、非线性映射层和重建层,所述迁移学习和深度卷积网络具体指利用大量已标记数据训练得到的模型参数,所述图像质量评估指标包括局部对比度、亮度、色彩保真度的计算和分析;

所述视频摘要生成模块包括关键信息提取子模块、摘要编辑子模块、高光时刻选择子模块;

所述关键信息提取子模块基于增强后视频,采用长短期记忆网络与注意力机制,分析视频帧序列,识别并提取关键帧和场景,建立关键信息数据集;

所述摘要编辑子模块基于关键信息数据集,采用序列决策算法,优化信息组合,编辑视频摘要草稿;

所述高光时刻选择子模块基于视频摘要草稿,采用聚类分析和用户反馈学习,筛选高光时刻,生成视频摘要;

所述序列决策算法具体为根据历史信息进行当前决策的算法,用于处理和生成序列数据,所述聚类分析具体为将视频帧分组识别相似特征,所述用户反馈学习包括分析用户行为数据优化高光时刻选择;

所述特效动态渲染模块包括场景解析子模块、特效匹配子模块、渲染优化子模块;

所述场景解析子模块基于视频摘要,利用卷积神经网络进行场景解析,辨识元素和属性,提取关键信息,包括情感,生成场景解析报告;

所述特效匹配子模块基于场景解析报告,采用模式匹配算法,根据所述场景解析报告中的辨识元素和属性,动态匹配视频特效,并获取特效匹配数据;

所述渲染优化子模块基于特效匹配数据,采用实时渲染技术和图像合成,调整特效以匹配视频情感,生成特效视频;

所述实时渲染技术具体指计算机图形学中即时计算和生成图像的技术,所述图像合成包括将多个图像层合并。

2.根据权利要求1所述的基于AI技术的视频制作系统,其特征在于:所述视频解码模块包括视频流分析子模块、帧提取子模块、格式转换子模块;

所述特征提取模块包括图像识别子模块、特征编码子模块、语义分析子模块;

所述内容识别模块包括序列分析子模块、情节提炼子模块、摘要生成子模块;

所述视频合成模块包括帧合成子模块、编码优化子模块、文件封装子模块。

3.根据权利要求2所述的基于AI技术的视频制作系统,其特征在于:所述视频流分析子模块基于输入的视频文件,采用深度学习解码算法,对视频数据流的编码格式和帧结构进行深入分析,获取视频流特性数据;

所述帧提取子模块基于视频流特性数据,采用逐帧分析法,对视频流进行帧分割,提取出每一帧图像,建立图片帧序列;

所述格式转换子模块基于图片帧序列,采用图像格式标准化技术,转换图像帧格式,生成标准化帧序列;

所述视频流特性数据具体为视频流中包括编码信息、帧率和分辨率的关键参数,所述图片帧序列包括连续、未处理的原始图像帧,所述标准化帧序列具体指转换为JPEG或PNG图像格式。

4.根据权利要求2所述的基于AI技术的视频制作系统,其特征在于:所述图像识别子模块基于标准化帧序列,采用卷积神经网络,对图像进行特征点检测与识别,获取图像特征点数据集;

所述特征编码子模块基于图像特征点数据集,采用特征向量编码技术,对特征点进行编码,进行数据压缩并保留关键视觉信息,生成编码后特征数据集;

所述语义分析子模块基于编码后特征数据集,采用语义分析算法,对图像内容进行深层次理解,提取场景和对象的语义标签,建立图像语义信息数据集;

所述图像特征点数据集具体为图像中包括边缘、角点、纹理的特征信息,所述编码后特征数据集具体指经过编码的低维度特征表示,所述图像语义信息数据集具体指图像中物体和场景的高层次语义描述。

5.根据权利要求2所述的基于AI技术的视频制作系统,其特征在于:所述序列分析子模块基于特征数据集,采用长短期记忆网络,进行时间依赖性分析,并进行数据预处理,生成时间序列分析结果;

所述情节提炼子模块基于时间序列分析结果,采用自然语言处理中的实体识别技术,进行情节关键元素提取,并进行情感分析,生成情节提炼报告;

所述摘要生成子模块基于情节提炼报告,采用抽取式摘要方法,进行信息精简,并进行核心句子选择,生成内容摘要;

所述长短期记忆网络具体为一种递归神经网络,用于捕获时间序列数据中的长距离依赖关系,所述实体识别技术包括命名实体识别、关键短语提取,所述抽取式摘要方法具体指从文本中抽取关键句或短语以构建摘要的技术。

6.根据权利要求2所述的基于AI技术的视频制作系统,其特征在于:所述帧合成子模块基于质量评估报告中筛选的高质量视频帧,采用光流技术和帧插补算法,优化帧间连贯性,生成合成视频流;

所述编码优化子模块基于合成视频流,采用H.265/HEVC编码技术,对视频流进行压缩和质量优化,生成优化后的视频流;

所述文件封装子模块基于优化后的视频流,采用多媒体容器格式化技术,进行MP4或AVI封装,整合音视频数据流,生成增强后视频;

所述光流技术具体为通过分析相邻帧之间像素的运动,来计算中间帧的运动向量,所述H.265/HEVC编码技术具体包括利用帧内预测、帧间预测、变换和量化技术,减少冗余信息,所述多媒体容器格式化技术具体指对视频和音频数据进行封装。