利索能及
我要发布
收藏
专利号: 2017103916032
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于自主学习剧本的智能机器人提线木偶表演方法,其特征是:包括以下步骤:步骤1:跟踪测量老旧木偶的运动,录下艺术家的讲述和背景音乐,然后存储为计算资源,并根据指示驱动新的提线机器人木偶运动,播放讲述和背景音乐以及驱动渲染灯光;

步骤2:依据步骤1中的计算资源计算出老旧木偶的运动,得到一个可供人工修正的剧本模式,包括以下步骤:

1)采样:在舞台中心以及舞台四角贴上标志图案,采用相机以及麦克风保存所需分析的艺术家的剧本的视频信息;

2)目标区域提取:在采样步骤中拍摄时,选取出单帧图像中舞台的四角的标志图案,得到图案I(c,f,d),其中I代表的是目前处理的图像,其中c为相机来源,f代表的是帧数,代表的是第d次处理过程,并统计出四个中最大的面积M(max,c)和最小的面积M(min,c);

3)去背景:分析单帧图像I(c,f,d),采用直方图统计法的方法,统计出出现次数最大的颜色值,删除所有这些颜色值,得到I(c,f,d),其中d=2;

4)去噪:统计出所有整体联通区域Block(c,f,d,b)的面积大小,仅保留面积在M(max,c)和最小的面积M(min,c)之间的整体联通区域,得到图像I(c,f,d),此时d=3;

5)二值化:把图像I(c,f,d)二值化,得到新的I(c,f,d),其中d=4;

6)特征提取:提取出整体联通区域Block(c,f,d,b)的一系列像素值,作为这个整体联通区域Block(c,f,d,b)的特征值Ts(c,f,d,b),Ts(c,f,d,b)=(t1,t2,…,tnn),其中tnn为第n*n个方块的特征值,b代表的是图像I(c,f,d)中d=4的所有联通区域的编号;

7)识别:选出对整体联通区域Block(c,f,d,b)的识别的结果;

8)计算位置和电机运动关系;

9)系统保护:判断每个电机组的位置信息是否安全,从而判断是否取消该电机组运动;

步骤3:根据工作人员的操作,优化编排步骤2中剧本模式中的动作、解说、背景音乐和渲染舞台背景,或者重新彻底编排剧本模式,以机器人提线木偶的形式重新进行无限自动展示。

2.根据权利要求1所述的方法,其特征是:识别步骤包括以下步骤:① 将每个待识别的联通区域的特征值Ts(c,f,d,b)=(t1,t2,…,tnn)与已知的贴上的标志图案的特征值Ttar(e)=(t′1,t′2,…,t’nn)一一相减,其中e代表的是已知贴上的某个标志图案,即1和0的对比,取绝对值之和,公式如下:② 得到每个待识别的联通区域与任意一个已知的贴上的标志图案的特征值Ttar(e)之间的偏离与整体方块数目的比例程度;

③ 选出PorDevi(c,f,d,b,e)最小的结果,如果其值也在偏离阈值TPorDevi范围内,即PorDevi(c,f,d,b,e)<TPorDevi,那么将Ttar(e)作为Block(c,f,d,b)识别的结果。

3.一种基于自主学习剧本的智能机器人提线木偶表演系统,其特征是:包括有:学习模块:其用于跟踪测量老旧木偶的运动,录下艺术家的讲述和背景音乐,然后存储为计算资源,并根据指示驱动新的提线机器人木偶运动,播放讲述和背景音乐以及驱动渲染灯光;

计算模块:依据所述学习模块中的计算资源计算出老旧木偶的运动,得到一个可供人工修正的剧本模式,包括:

1)采样:在舞台中心以及舞台四角贴上标志图案,采用相机以及麦克风保存所需分析的艺术家的剧本的视频信息;

2)目标区域提取:在采样步骤中拍摄时,选取出单帧图像中舞台的四角的标志图案,得到图案I(c,f,d),其中I代表的是目前处理的图像,其中c为相机来源,f代表的是帧数,代表的是第d次处理过程,并统计出四个中最大的面积M(max,c)和最小的面积M(min,c);

3)去背景:分析单帧图像I(c,f,d),采用直方图统计法的方法,统计出出现次数最大的颜色值,删除所有这些颜色值,得到I(c,f,d),其中d=2;

4)去噪:统计出所有整体联通区域Block(c,f,d,b)的面积大小,仅保留面积在M(max,c)和最小的面积M(min,c)之间的整体联通区域,得到图像I(c,f,d),此时d=3;

5)二值化:把图像I(c,f,d)二值化,得到新的I(c,f,d),其中d=4;

6)特征提取:提取出整体联通区域Block(c,f,d,b)的一系列像素值,作为这个整体联通区域Block(c,f,d,b)的特征值TS(c,f,d,b),Ts(c,f,d,b)=(t1,t2,…,tnn),其中tnn为第n*n个方块的特征值,b代表的是图像I(c,f,d)中d=4的所有联通区域的编号;

7)识别:选出对整体联通区域Block(c,f,d,b)的识别的结果;

8)计算位置和电机运动关系;

9)系统保护:判断每个电机组的位置信息是否安全,从而判断是否取消该电机组运动;

控制模块:根据工作人员的操作,优化编排所述剧本模式中的动作、解说、背景音乐和渲染舞台背景,或者重新彻底编排剧本模式,以机器人提线木偶的形式重新进行无限自动展示。

4.根据权利要求3所述的一种基于自主学习剧本的智能机器人提线木偶表演系统,其特征是:所述学习模块包括:电机模块:其用于带动木偶上的提拉点运动,包括若干个电机组,所述电机组包括一个横向运动的电机和一个纵向运动的电机组合成一个能够上下左右运动的电机组;

控制模块:其用于控制电机驱动模块工作。

5.根据权利要求3所述的一种基于自主学习剧本的智能机器人提线木偶表演系统,其特征是:所述学习模块还包括有:发光模块:其用灯光显示学习模块的工作状态;

发音模块:其用声音显示学习模块的工作状态,以及用于播放剧本的解说和背景音乐。

6.根据权利要求3所述的一种基于自主学习剧本的智能机器人提线木偶表演系统,其特征是:所述控制模块包括有:姿势与电机参数对应模块:用于计算木偶的每个姿势中的位置与电机旋转位置的一一对应关系;

基本姿态修正模块:用于在对木偶姿势中的位置与电机旋转位置的一一对应关系中进行人为的数据修正;

基础动作设定模块:用于在静态姿势设定的基础上,设定两个静态姿势之间变换从而形成的基础动作;

连贯动作设定模块:用于将多个基础动作能够联合,连贯成为一个连贯动作,等待调用;

动作切片模块:用于把捕捉表演时的艺术家对老旧木偶的所有动作按照要求,一步步切片成一个个基础动作和一个个连贯动作;

声音翻译模块:用于把录下的艺术家的解说,翻译成数字式的文字;

灯光声音动作同步模块:用于设定在单元时间内,一个或者多个木偶的连贯动作,以及对应渲染灯光、背景音乐;

新剧本编排模块:用于按照剧本,把单元时间内,一个或者多个木偶的连贯动作,以及对应渲染灯光、背景音乐这些内容连贯成一个剧本;

数据保存模块:用于保存控制软件部分内的所有设定内容;

播放模块:用于把新剧本编排模块中的剧本的内容调出,转换成电机的运动控制信息、灯光控制信息和背景音乐播放信息,以及把的艺术家的解说翻译成数字式的文字以数字合成的形式进行播放。