1.一种增强现实环境中的实时视频处理方法,其特征在于,包括以下步骤:步骤101,将归属于一个影视剧的影视概念图像按照描述的剧情的发展顺序排序获得概念图像序列;
步骤102,将分镜剧本的景别文本按照镜头先后顺序排序获得分镜文本序列,一个分镜文本对应一个镜头的景别文本;
将分场景剧本按照剧情先后顺序排序获得场景文本序列,一个场景文本对应一个场景的全部文本;
步骤103,基于概念图像序列、分镜文本序列和场景文本序列来构建图结构数据,图结构数据包括基本的数据元,一个数据元关联一个概念图像或分镜文本或场景文本,根据以下规则来定义两个数据元之间的关联性:两个数据元分别关联影视概念图像和分镜文本,该影视概念图像在制作时参考了该分镜文本对应的镜头的景别文本和/或内容文本,则定义关联性为1,否则定义关联性为0;
两个数据元分别关联影视概念图像和场景文本,该影视概念图像在制作时参考了该场景文本,则定义关联性为1,否则定义关联性为0;
两个数据元均关联分镜文本,并且这两个分镜文本包含B个以上的相同关键词,则定义关联性为1,否则定义关联性为0;
两个数据元均关联场景文本,并且这两个场景文本包含C个以上的相同关键词,则定义关联性为1,否则定义关联性为0;
步骤104,将图结构数据输入训练好的增强智能体中;
增强智能体每一个执行步输出概念图像序列的一个概念图像的增强结果。
2.根据权利要求1所述的一种增强现实环境中的实时视频处理方法,其特征在于,A、B、C的取值范围均为[1,20]。
3.根据权利要求1所述的一种增强现实环境中的实时视频处理方法,其特征在于,关键词是从场景文本和分镜文本中选择的,人为选择认为重要的词或者是选择词频前N的词。
4.根据权利要求1所述的一种增强现实环境中的实时视频处理方法,其特征在于,增强智能体包括图像编码层、文本编码层、图学习模块和图生成模块,其中图像编码层用于输入概念图像,并输出图像编码特征,文本编码层用于分别输入分镜文本和场景文本,并对应的分别输出分镜文本编码特征和场景文本编码特征;
图学习模块用于输入数据元的特征表示和数据元的关联性数据,关联影视概念图像的数据元的特征表示为图像编码特征,关联分镜文本的数据元的特征表示为分镜文本编码特征,关联场景文本的数据元的特征表示为场景文本编码特征;
对于增强智能体的第i个执行步包括:
输入当前的图结构数据,并且输出关联第i个概念图像的数据元的数据编码特征;
然后将图学习模块输出的第i个概念图像关联的数据元的数据编码特征替换第i个数据元的特征表示;
图像编码层、文本编码层只在第一个执行步时运行,图学习模块在每个执行步均运行;
图生成模块包括变换层和上采样层,其中变换层将数据编码特征三等分作为三个通道,每个通道再张量为矩阵形式;上采样层输入变换后的数据编码特征,然后进行上采样输出数据编码特征对应的数据元关联的概念图像的增强结果。
5.根据权利要求4所述的一种增强现实环境中的实时视频处理方法,其特征在于,图学习模块包括D层,6>D>0,第l层的计算公式如下:其中 是数据元u对数据元v的注意力权重,N(v)表示与数据元v存在关联性的数据元的集合, 表示第l层的第一权重参数,通过如下公式计算:a是一个可学习的注意力向量,∥表示向量拼接操作, 表示第l层的第二权重参数;
其中xv和xu分别表示第v个和第u个数据元的特征表示。
6.根据权利要求4所述的一种增强现实环境中的实时视频处理方法,其特征在于,增强结果相对于原始的概念图像包含了分辨率增加和/或风格迁移。
7.根据权利要求4所述的一种增强现实环境中的实时视频处理方法,其特征在于,图像编码层包括CNN层和张量层,CNN输入概念图像,并输出图像特征,图像特征通过张量层逐行展开拼接后获得图像编码特征;
图像特征的大小为a*b*3,3表示通道数,图像编码特征的维度为a*b*3;
数据编码特征的维度为a*b*3。
8.根据权利要求1所述的一种增强现实环境中的实时视频处理方法,其特征在于,增强智能体的训练方法包括:步骤201,初始化经验池,随机初始化增强智能体、第二网络单元、第三网络单元、第四网络单元;
步骤202,重置图结构数据;
,
步骤203,输入图结构数据st到增强智能体得到第t个概念图像的增强结果at;
将增强智能体输出的第t个概念图像关联的数据元的数据编码特征替换第t个数据元的特征表示来更新图结构数据st+1;
获得图像增强评价rt;增强评价来源于影视专业从业人员的评价,评价的评分的值域为[‑10,10];
0分表示增强后的视频概念图像与增强之前的视频概念图像的评价一致;
增强后的视频概念图像比增强之前的视频概念图像更优则评分越高,否则评分越低;
终止条件done是概念图像序列的所有概念图像被增强;
将经验st,at,rt,st+1,done存入经验池,一个经验是一个四元组为st,at,rt,st+1或st,at,rt,done;
步骤204,从经验池中随机获取N个经验;
,
输入运行状态特征st到增强智能体得到控制特征at;
, ( ,)
将at和st输入第三网络单元得到QCriticst,at ;
输入运行状态特征st+1到第二网络单元得到控制特征at+1;
( )
QTargetCritic st+1,at+1 表示输入运行状态特征st+1和控制特征at+1时第四网络单元的输出;
QCritic(st,at)表示输入运行状态特征st+1和控制特征at+1时第四网络单元的输出;
γ是超参数,值域为[0,1];
求loss,梯度下降法更新网络;
通过L1更新增强智能体,通过L2更新第三网络单元;
步骤205,每隔固定个网络更新次数,更新第二网络单元,使其参数与当前的增强智能体的参数相同,更新第四网络单元,使其参数与当前的第三网络单元的参数相同;
步骤206,增强智能体收敛和第三网络单元收敛时终止步骤或者循环步骤203‑205的循环次数达到设定值之后终止步骤。
9.一种计算机存储介质,其特征在于,其用于存储计算机可读指令,当该计算机可读指令被计算机读取时能够执行如权利要求1‑8任一所述的增强现实环境中的实时视频处理的方法的步骤。
10.一种增强现实环境中的实时视频处理系统,其特征在于,包括:图像处理模块,将归属于一个影视剧的影视概念图像按照描述的剧情的发展顺序排序获得概念图像序列;
文本处理模块,将分镜剧本的景别文本按照镜头先后顺序排序获得分镜文本序列,一个分镜文本对应一个镜头的景别文本;
将分场景剧本按照剧情先后顺序排序获得场景文本序列,一个场景文本对应一个场景的全部文本;
数据处理模块,基于概念图像序列、分镜文本序列和场景文本序列来构建图结构数据;
图像增强模块,将图结构数据输入训练好的增强智能体中;增强智能体每一个执行步输出概念图像序列的一个概念图像的增强结果。