1.一种基于虚拟现实和增强现实的文物展览方法,其特征在于:该方法包括以下步骤:步骤S1:故事情节生成,利用CKIP分词系统进行分词处理,基于多通道词嵌入获得特征矩阵,构建故事生成网络;
步骤S2:设计VR体验,根据故事生成网络生成的故事情节,利用Unity游戏引擎开发VR体验;
步骤S3:设计AR体验,根据故事生成网络生成的古代仪式情节,参观者使用头戴式AR显示器完成任务,体验展览;
步骤S4:评价,通过问卷调查收集参观者的体验感受,对展览进行优化;
在步骤S1中,所述故事情节生成,包括以下步骤:
步骤S11:句子预处理,利用CKIP分词系统将句子进行分词处理,按照的格式标记句子,其中 、 和 分别表示句子的开头、结尾和句子之间的间隔,完整的输入数据结构如下:
输入数据: ;
标签: ;
式中,从 到 表示当前句子,从 到 表示下一个句子,表示词性, 表示句子中的单词,得到预处理后的原始文本;
步骤S12:多通道词嵌入,将预处理后的原始文本用词嵌入法进行矢量化,将一个句子映射到3个向量空间,对于每种类型的词嵌入,设置形状为 的通道,其中 是输入句子中的标签数量, 是每个标签对应的词向量的维度,使用 的滤波器滑动三个通道,每个 滤波器将输出一个形状为 的向量,将所有向量合并生成最终的特征矩阵;
步骤S13:为词向量添加位置编码,使用正弦和余弦函数为每个词向量的不同位置添加位置编码,所用公式如下:;
;
式中, 表示词向量的位置编码结果, 表示单词的位置,表示单词的维数, 表示位置编码的维度, 表示正弦函数, 表示余弦函数;
通过双向注意力机制,得到双向注意力机制的输出,利用双向注意力机制的输出生成输出文本向量,使用线性变换对输出文本向量进行解码,利用自适应Softmax函数来查找出现频率最高的单词;
步骤S14:构建故事生成网络,定义生成对抗网络由生成器和鉴别器组成,使用故事生成网络作为生成器,文本卷积作为鉴别器,所用公式如下:;
式中, 表示关于下标中指定分布的期望值, 表示目标函数, 为原始文本数据的分布, 为摘要数据的分布, 表示生成器, 表示鉴别器,表示真实样本, 表示生成器生成的样本;
步骤S15:计算损失函数,采用标记平滑方法计算损失函数,所用公式如下:;
;
式中, 表示损失函数,表示故事生成网络的分布, 表示平滑标签的分布, 表示标签, 为0‑1之间的参数, 是总词汇量,当损失函数趋于稳定时,训练结束,得到故事生成网络;
在步骤S2中,所述设计VR体验,包括以下步骤:
步骤S21:故事设定,根据文物的历史背景,总结一段摘要,输入到故事生成网络,生成故事情节;
步骤S22:场景选择,根据生成的故事情节,确定游戏主题,选择适合的场景和环境;
步骤S23:场景建模和视觉设计,使用Unity游戏引擎创建游戏中的场景和环境,使用Unity地形编辑器设计出逼真的建筑、景观和道具;
步骤S24:角色和交互设计,设计参观者在游戏中扮演的角色,设计与故事情节相关的谜题和任务,让参观者在游戏中通过与场景和角色之间的交互,解开谜团,逐步揭开故事的真相;
步骤S25:音效和背景音乐,根据不同的场景和情节设计音效和背景音乐,增强游戏的沉浸感和氛围;
步骤S26:体验,参观者利用虚拟现实头显设备体验游戏;
在步骤S3中,所述设计AR体验,包括以下步骤:
步骤S31:古代仪式情节生成,根据文物的历史事件,总结一段摘要,输入到故事生成网络,生成古代仪式情节;
步骤S32:构建AR系统架构,开发一个基于AR技术的系统,实现博物馆文物展品的展览;
步骤S33:搜索展品,参观者使用头戴式AR显示器,移动3D模型到博物馆的特定位置,完成古代仪式,通过语音指令与旁白互动,搜索展品,搜索完成后,观看制作3D人工展品过程视频,并听取与展品相关的背景音乐;
步骤S34:AR体验过程,通过教程引导参观者,进而使得参观者完成搜集展品的任务。
2.根据权利要求1所述的一种基于虚拟现实和增强现实的文物展览方法,其特征在于:在步骤S32中,所述构建AR系统架构,包括以下步骤:步骤S321:本地空间锚存储3D对象,利用本地空间锚技术构建文物展品的3D模型,并与博物馆的特定位置进行关联;
步骤S322:交互体验,参观者通过手动交互功能将3D模型从初始位置移动到重建位置;
步骤S323:语音命令与凝视交互,参观者使用语音命令激活或取消激活展品AR叙述的特定阶段,并根据叙述接收信息,使用凝视交互来激活或取消3D模型上的标签;
步骤S324:空间音频,利用空间音频技术创建3D音频源,每个展品都包含一个3D音频源,让参观者通过音量和方向感知自己与音频源的距离和方向。
3.根据权利要求2所述的一种基于虚拟现实和增强现实的文物展览方法,其特征在于:在步骤S34中,所述AR体验过程,包括以下步骤:步骤S341:交互界面训练,通过教程,训练参观者使用高级交互界面,包括语音命令和手势交互;
步骤S342:参观者引导,游戏启动后,通过叙述引导参观者在博物馆环境中定位特定的区域;
步骤S343:搜集展品,参观者通过语音命令搜索展品,并激活展品的3D重建和声音,然后在博物馆中搜索展品的3D重建,并将其移动到特定区域;
步骤S344:仪式触发,重复步骤S343,直到收集完所有展品,仪式就会被激活,展品和旋律结合在一起,形成一个音乐轨道,生成一段完整的音乐作品。
4.一种基于虚拟现实和增强现实的文物展览系统,用于实现如权利要求1‑3中任一项所述的一种基于虚拟现实和增强现实的文物展览方法,其特征在于:包括故事生成模块、设计VR体验模块、设计AR体验模块和评价模块;
所述故事生成模块,利用CKIP分词系统进行分词处理,基于多通道词嵌入获得特征矩阵,构建故事生成网络,将故事生成网络发送至设计VR体验模块;
所述设计VR体验模块接收故事生成模块发送的故事生成网络,根据故事生成网络生成的故事情节,利用Unity游戏引擎开发VR体验,得到VR体验结果,并将VR体验结果发送至评价模块;
所述设计AR体验模块接收故事生成模块发送的故事生成网络,根据故事生成网络生成的古代仪式情节,参观者使用头戴式AR显示器完成任务,得到AR体验结果,并将AR体验结果发送至评价模块;
所述评价模块接收设计VR体验模块发送的VR体验结果和设计AR体验模块发送的AR体验结果,结合VR体验结果和AR体验结果听取参观者的建议,优化展览。