1.一种LED虚拟场景灯光控制方法,其特征在于,所述方法包括:
提取LED虚拟场景照明元素的种类和发散方向;使用演员情绪分析LED虚拟场景的灯光效果;根据摄影机画面调整灯光效果,所述根据摄影机画面调整灯光效果,具体包括:判断摄像机与LED虚拟场景物体的距离,确定摄像机位置自动调整光照素材位置和光照强度;使用RBM网络选取照明方案;判断LED虚拟灯光与演员情绪的匹配度,具体包括:获取拍摄剧本灯光的色温、色彩;在LED虚拟屏幕中进行人机交互,所述在LED虚拟屏幕中进行人机交互,具体包括:在地面LED屏幕安置传感器完成简单互动,使用动作捕捉技术完成演员对LED虚拟场景的灯光控制。
2.根据权利要求1所述的方法,其中,所述提取LED虚拟场景照明元素的种类和发散方向,包括:
获取章节剧本输入LSTM网络作为训练集,以章节剧本中的照明元素为特征集对LSTM进行训练;将章节剧本输入经训练的LSTM网络,通过关键词提取获得章节剧本场景的时间、地点、时区、天气,对场景进行分类;使用关键词提取获得章节剧本场景的照明元素,获取照明元素在剧本场景中的位置和种类,通过照明元素的种类和位置确定照明元素发散方向和光照强度;场景分为:室内场景和室外场景,照明元素包括室外场景的照明天体和室内场景的照明物品,通过室外场景的时间、地点、时区和天气计算出照明天体的发散方向和光照强度,根据天气计算出天光强度;通过确定照明物品的种类,通过对比真实照度参照表,确定该种类的照明物品的光照强度,并根据照明物品的位置和种类确定光线发散方向。
3.根据权利要求1所述的方法,其中,所述使用演员情绪分析LED虚拟场景的灯光效果,包括:
将摄影机拍摄实景的演员表情输入深度卷积神经网络,以演员表情为特征集进行训练,得到经训练的深度卷积神经网络;将摄像机拍摄LED虚拟场景的演员表情输入经训练的深度卷积神经网络,输出演员的情绪分类;将实景拍摄的演员表情和LED虚拟拍摄的演员表情输入孪生神经网络,提取出演员表情的脸部特征进行比对,以0到1之间的一个实数来度量脸部特征相似度,相似度高,则LED虚拟场景灯光效果好。
4.根据权利要求1所述的方法,其中,所述根据摄影机画面调整灯光效果,包括:
在UE4引擎中搭建虚拟剧本场景,将剧本场景投影到LED屏幕,使用装有定位系统的摄像机拍摄虚拟场景的图像;使用UE4引擎中的虚拟摄像机,在UE4中搭建的虚拟场景的相同位置进行拍摄;对摄像机在LED虚拟场景拍摄的图像和虚拟摄像机在UE4虚拟场景拍摄的图像以图像灰度值为特征进行分割,对分割后的图像的灰度均值进行对比,以0到1之间的实数值衡量分割后图像灰度值的相似度,相似度低,调整照射范围和光照强度直到和相似度达到预设的阈值;包括:判断摄像机与LED虚拟场景物体的距离;确定摄像机位置自动调整光照素材位置和光照强度;
所述判断摄像机与LED虚拟场景物体的距离,具体包括:
在LED屏幕布置区域地板上布置多个标记点,在摄像机上放置定位传感器,根据定位传感器相对于标记点的位移,定位摄像机在LED屏幕虚拟场景的位置和运动轨迹;在UE4中搭建出尺寸相同的LED虚拟场景,在LED虚拟场景和UE4虚拟场景中建立相同的坐标系;在同一坐标系内测量UE4中虚拟物体与虚拟摄像机的距离,判断摄像机拍摄时距离LED屏幕的距离;
所述确定摄像机位置自动调整光照素材位置和光照强度,具体包括:
获取摄像机运动轨迹和偏移角度,获取LED虚拟场景中的光照素材种类和光照素材所在位置,在坐标系中计算LED虚拟场景中的光照素材相对于摄像机的距离;通过摄像机运动轨迹和偏移角度,及时调整光照素材的位置和光照强度,直到距离与UE4引擎中坐标系内的距离相同。
5.根据权利要求1所述的方法,其中,所述使用RBM网络选取照明方案,包括:
将光照素材与对应的照明方案输入RBM网络,找到光照素材特征与照明方案的隐藏关系;将剧本输入LSTM处理得到剧本场景的光照素材;将剧本光照素材输入RBM网络,提取出光照素材的特征,匹配照明方案,匹配则输出照明方案,不匹配则标记后输入RBM网络进行学习,根据光照素材特征输出新的照明方案。
6.根据权利要求1所述的方法,其中,所述判断LED虚拟灯光与演员情绪的匹配度,包括:
将章节剧本输入BERT模型中,获取章节剧本中每个人物的情感倾向,将获取的情感倾向输入Transformer模型,获取情感倾向对应的色温、色彩;获取拍摄剧本灯光的色温、色彩,在LED屏幕虚拟场景拍摄时使用对应的色温、色彩;利用深度卷积神经网络确定LED屏幕虚拟场景拍摄时演员的情绪分类;根据情绪分类与情感倾向的匹配性确定LED虚拟灯光与演员情绪的匹配度;包括:获取拍摄剧本灯光的色温、色彩;
所述获取拍摄剧本灯光的色温、色彩,具体包括:
将章节剧本输入BERT模型中进行学习,通过统计剧本章节中每个词的出现概率,通过词频计算词语权重,通过情绪词典获取词语的情绪倾向,计算章节剧本的情绪占比;将拍摄剧情的视频输入Transformer模型,使用Transformer模型视频语义分割获得视频的情感倾向,以视频的色温、色彩为特征值,为每个具有情感倾向的视频打上色温、色彩的标签,得到情感倾向对应的色温、色彩;将剧本所需情绪输入Transformer模型,得到拍摄剧本所需的色温、色彩。
7.根据权利要求1所述的方法,其中,所述在LED虚拟屏幕中进行人机交互,包括:
将剧本输入经训练的LSTM,获取剧本场景的类型,获取地面场景的材质和照明元素的种类;获取场景地面材质的压入硬度,压入硬度低的地面可改变,在可改变地面铺上LED屏幕;判断照明元素是否为人造光源,人造光源的照明元素可控制灯光可控制的场景,布置动作捕捉器和在LED对应互动区域的传感器;通过在LED屏幕中安装压力传感器,温度传感器,距离传感器,在物体和演员上安装动作捕捉器,判断传感器获取的数据是否达到预设值,达到预设值则改变屏幕或灯光效果;包括:在地面LED屏幕安置传感器完成简单互动;使用动作捕捉技术完成演员对LED虚拟场景的灯光控制;
所述在地面LED屏幕安置传感器完成简单互动,具体包括:
在地面的LED屏幕安装压力传感器,温度传感器,演员走上LED屏幕,若符合预设的压力大小和温度,则LED屏幕的画面进行改变;根据压力传感器获取压力的范围,决定LED屏幕的改变大小;根据场景类型,在压力消失时切换LED屏幕在该场景类型下的显示内容;
所述使用动作捕捉技术完成演员对LED虚拟场景的灯光控制,具体包括:
在LED屏幕搭建的虚拟场景中可能导致灯光变化的区域设置距离传感器、温度传感器;
演员触碰到区域屏幕的距离传感器和温度传感器,距离传感器和温度传感器将检测到的温度和距离传递给处理器,符合预设的温度和预设距离,则根据演员动作自动改变灯光效果,不符合,则不改变;将动作捕捉器放在物体或演员上,捕捉到物体或演员有指向或背离屏幕的互动时,屏幕自动调整光线。