欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021111681514
申请人: 广州市简筱网络科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种特殊人群手势交互信息咨询识别系统,其特征在于:该信息咨询识别系统包括输入系统、识别系统及咨询系统,所述输入系统对用户身份进行识别,输入系统包括资料库,所述资料库中含有手势数据,输入系统采集用户在交互过程中的图像数据和视频数据,所述识别系统根据用户信息调取资料库中的数据,识别系统将输入系统采集的图像数据和视频数据与资料库中的数据进行匹配,并将匹配到的数据传输到咨询系统中,所述咨询系统根据识别系统传输的数据提取出关键词,咨询系统根据关键词进行信息查询;

所述输入系统包括身份识别子系统、图像采集子系统、视频录入子系统,所述身份识别子系统对用户信息进行识别,所述资料库包含云端数据中的所有手势数据以及用户个人创建的手势数据,所述图像采集子系统对用户手势交互时的第一帧图像和最后一帧图像进行采集,所述视频录入子系统对用户交互时的视频进行采集;

所述识别系统包括个人手势库调取子系统、图像识别子系统、视频匹配子系统,所述个人手势库调取子系统根据用户信息调取用户个人创建的手势数据,所述图像识别子系统根据第一帧图像及最后一帧图像中的数据与资料库中的数据进行对比、匹配,并得出用户交互时的手势或者拥有第一帧图像及最后一帧图像中数据的其他手势,所述视频匹配子系统根据采集的交互视频中的交互手势数据辅助图像识别子系统与其他手势进行匹配,并得出用户交互时的手势;

所述咨询系统包括语义采集子系统、关键词子系统和查询子系统,所述语义采集子系统根据识别系统识别出的手势从资料库中获取该手势所表达的语义并形成文本,所述关键词子系统从文本中提取关键词,所述查询子系统根据关键词进行信息查询。

2.根据权利要求1所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:所述资料库包括手语库、个人手势库,所述手语库为云端数据中各种手语数据组成的数据库,所述个人手势库为用户个人创建的手势数据库,个人手势库的数据内容包括用户个人创建的手势视频以及该手势视频所代表的语义;

所述图像采集子系统对用户交互时的手势以及做该手势时的面部表情进行图像采集,图像采集子系统将用户开始交互时的起始画面标记为第一帧图像,将用户结束交互时的末尾画面标记为最后一帧图像,第一帧图像中的手势为起始手势,最后一帧图像中的手势为结束手势,所述视频录入子系统对用户交互时的手势运动轨迹进行采集。

3.根据权利要求2所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:所述个人手势库调取子系统根据用户信息调取个人手势库;

所述识别系统还包括分类子系统,所述分类子系统对手语库和个人手势库中每一个第一帧图像中起始手势及最后一帧图像中结束手势的大拇指所在位置进行坐标建立,分类子系统以第一帧图像和最后一帧图像中手腕所在位置为空间坐标系原点,并分别建立第一帧图像和最后一帧图像中大拇指所在位置的坐标集合A、B,第一帧图像的坐标集合A={A1,A2,A3,…,An},其中An=(XAn,YAn,ZAn),最后一帧图像的坐标集合B={B1,B2,B3,…,Bn},其中Bn=(XBn,YBn,ZBn);

所述分类子系统将手语库和个人手势库中第一帧图像中大拇指坐标相同的所有手势归类为一组并形成集合C,集合C={C1,C2,C3,…,Cn},所述分类子系统将手语库和个人手势库中剩余的第一帧图像中大拇指坐标不相同的所有手势形成集合D,集合D={D1,D2,D3,…,Dn},其中,集合C、D中每个手势的坐标均包括第一帧图像中的坐标和最后一帧图像中的坐标。

4.根据权利要求3所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:所述分类子系统对手语库和个人手势库中的每个交互视频进行对比曲线的建立,分类子系统以交互手势的手腕为空间坐标系原点,以交互手势的大拇指为数据提取点并建立空间坐标,分类子系统选取交互视频中清晰的图像作为坐标建立的数据采集图像,并建立每个交互视频的坐标集合F,F={F1,F2,F3,…,Fn},其中Fn=(XFn,YFn,ZFn);

分类子系统将手语库和个人手势库中每个交互视频中大拇指的移动路径创建为连接曲线,分类子系统将连接曲线与坐标集合F中的坐标进行连接并形成对比曲线,分类子系统将每个交互视频生成的对比曲线汇聚成曲线集合K,分类子系统将曲线集合K中的子集对比曲线kn与集合C和集合D中的坐标进行组合并形成完整的手势运动轨迹,坐标集合F中的坐标为对比曲线kn进行坐标点对比的主要数据,集合C、D中每个手势的运动轨迹均包括第一帧图像中的坐标、最后一帧图像中的坐标以及对比曲线kn。

5.根据权利要求4所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:所述图像识别子系统包括面部识别子系统和始末手势识别子系统,所述面部识别子系统先后分别对图像采集子系统采集的第一帧图像和最后一帧图像中的用户表情进行提取,面部识别子系统将第一帧图像中的数据与集合C和集合D中所有手势的用户表情进行对比、匹配,并将拥有该用户表情的所有子集提取出来。

6.根据权利要求5所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:所述始末手势识别子系统先后分别对图像采集子系统采集的第一帧图像和最后一帧图像中的起始手势和结束手势进行提取;

始末手势识别子系统以起始手势和结束手势中的手腕为空间坐标系的原点,并分别建立起始手势和结束手势中大拇指所在位置的坐标,起始手势中大拇指所在位置的坐标标记为Q(XQ,YQ,ZQ),结束手势中大拇指所在位置的坐标标记为J(XJ,YJ,ZJ);

始末手势识别子系统先将坐标Q与集合C和集合D中的起始手势坐标进行对比、匹配,并将拥有该起始手势坐标的所有子集提取出来;

所述图像识别子系统将面部识别子系统提取出的所有子集和始末手势识别子系统提取出的所有子集进行对比,将拥有第一帧图像中用户表情及起始手势的子集分选出来并形成识别集合T。

7.根据权利要求6所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:所述视频匹配子系统对采集的交互视频中的手势运动轨迹进行提取,视频匹配子系统以交互手势的手腕为空间坐标系原点,以交互手势的大拇指为数据提取点并建立空间坐标,视频匹配子系统选取交互视频中清晰的图像作为坐标建立的数据采集图像,并建立坐标集合S,S={S1,S2,S3,…,Sn},其中Sn=(XSn,YSn,ZSn);

视频匹配子系统根据交互视频中大拇指的移动路径建立连接曲线,视频匹配子系统将连接曲线与坐标集合S中的坐标进行连接并形成对比曲线k,坐标集合S中的坐标为对比曲线k进行坐标点对比的主要数据;

视频匹配子系统将生成的对比曲线k传递到图像识别子系统中;

图像识别子系统将对比曲线k与集合C和集合D中的手势运动轨迹进行匹配,图像识别子系统将对比曲线k与对比曲线kn进行匹配,图像识别子系统将对比曲线k中的坐标点与对比曲线kn中的坐标点进行对比,并将对比曲线k的连接曲线与对比曲线kn中的连接曲线进行对比,当对比曲线k、kn上每个坐标点的每个坐标轴上的数据相差在两个单位范围内、连接曲线的相差范围在三个单位范围内时,即为对比曲线匹配成功,即对比曲线k与集合C和集合D中的手势运动轨迹匹配成功;

图像识别子系统将集合C和集合D中具有该对比曲线的所有手势提取出来并形成集合Z;

图像识别子系统将面部识别子系统提取的最后一帧图像中的数据以及坐标J与集合Z中的手势进行匹配,当坐标J中每个坐标轴的坐标数据与集合Z中每个坐标上坐标轴的坐标数据相差两个单位时,即为匹配成功,即得到交互时的手势。

8.根据权利要求7所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:当图像识别子系统识别的手势为手语库中的数据时,所述语义采集子系统根据图像识别子系统提供的手势从手语库中获取该手势所表达的语义并形成文本,当图像识别子系统识别的手语为个人手势库中的数据时,所述语义采集子系统根据图像识别子系统提供的手势从个人手势库中获取该手势所表达的语义并形成文本。

9.根据权利要求8所述的一种特殊人群手势交互信息咨询识别系统,其特征在于:所述输入系统还包括输入子系统,用户通过输入子系统直接向关键词子系统中输入搜索用的关键词。