利索能及
我要发布
收藏
专利号: 2018111954651
申请人: 西安文理学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.手语的视觉语义-结构化解析方法,其特征在于,所述方法包括以下步骤:

步骤1,对手语图像采用视觉选择性注意模型Itti生成相应的手语显著图;

步骤2,在所述手语显著图中选取灰度最大的像素作为第1个种子点,依次计算与第1个种子点距离符合种子点距离阈值的第2个种子点,以及与第2个种子点距离符合种子点距离阈值的第3个种子点,直到得到22个种子点,得到的22个种子点构成视觉焦点种子集;

步骤3,对所述视觉焦点种子集中的种子点进行优化,得到优化后的视觉焦点种子集;

步骤4,将手语图像从RGB颜色空间转换到CIE-lab颜色空间,每个像素由其颜色值(l,a,b)和坐标(x,y)组成一个5维向量(l,a,b,x,y),取步骤3得到的22个优化后的视觉焦点种子作为初始种子点,每块超像素的边长为种子点距离阈值,用简单线性迭代聚类计算,进行区域增长,获得手语语义超像素,每个语义超像素均对应辨识函数划分中的一个子手语;

步骤5,对所述子手语进行结构性细化,得到细化子手语。

2.如权利要求1所述的手语的视觉语义-结构化解析方法,其特征在于,步骤1包括:

用c∈{2,3,4}代表中心信息尺度,s=c+δ(δ∈{3,4})代表周边背景信息的图像尺度,表示亮度, 表示颜色,表示方向:其中,I=(r+g+b)/3,I(c,s)=|I(c)ΘI(s)|,r,g,b分别表示图像红、绿、蓝三个通道的值,⊕表示将每张图缩到尺度4后点对点相加,Θ表示通过将代表周边背景信息的较小尺度的图像进行线性插值,使之与代表中心信息的较大尺度的图像具有相同大小,然后进行点对点的减操作,即中央周边差操作;

其中,R=r-(g+b)/2,G=g-(r+b)/2,B=b-(r+g)/2,Y=(r+g)/2-|r-g|/2-b,RG(c,s)=|(R(c)-G(c))Θ(G(s)-R(s)),BY(c,s)=|(B(c)-Y(c))Θ(Y(s)-B(s)),其中,采用方向Gabor金字塔O(σ,θ)得到局部方向信息,其中σ∈[0,8]表示尺度,θ∈{0°,45°,90°,135°}表示方向,方向特征图为O(c,s,θ)=|O(c,θ)ΘO(s,θ)|,经过归一化后,求和得到手语显著图S:

3.如权利要求1所述的手语的视觉语义-结构化解析方法,其特征在于,步骤3中对视觉焦点种子集进行优化的方法为:求手语显著图S的平均显著度

计算手语显著图中所有像素按灰度值从大到小排序的集合S’中大于 的像素数T’;

从1至T’按间隔T′/22依次获取视觉焦点种子seed(i)。

4.如权利要求1所述的手语的视觉语义-结构化解析方法,其特征在于,步骤5中所述细化子手语Thi表示为:其中,sp={spi|i=1...22}是去除背景的语义超像素集合,手语语义ψ的手势图像中,食指和中指细化的单像素表示骨骼,而其它手指和手掌的共同区域被简化为fpalm,V′={v′i∈S′,i=1...22}为优化后的视觉焦点种子集中的种子点;

得到结构性细化的结果后,利用归一化函数N′(H,rect(sp))将超像素sp缩放到与手的解剖结构大小一致,其中rect(sp)=minArearect(sp),表示sp的最小外接矩形,H为手的解剖结构定义为H={f,z}belimited by{C,R},f为节点集合,z为骨节集合,C和R分别为从解剖学定义上对zij之间的连接关系和旋转角度的限制。