利索能及
我要发布
收藏
专利号: 2023112770552
申请人: 江苏春花秋月数字科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于可视化分析图的UI数据处理方法,其特征在于,该UI数据处理方法包括以下步骤:S1、基于Node的多进程集群构建分布式网关,读取本地数据库,并代理远程的数据服务;

S2、搭建Hadoop集群,对本地数据库的数据进行可视化分析的人机交互的预处理操作,并得到图结构数据;

S3、搭建分布式存储集群,利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储,并基于副本集对图结构数据进行存取;

S4、基于MapReduce实现对图结构数据进行预处理;

所述基于Node的多进程集群构建分布式网关,读取本地数据库,并代理远程的数据服务包括以下步骤:S11、在前端模块与后端模块之间增加一个中间层作为网关;

S12、将前端模块中的虚线框作为中间网关层,并提供数据的模型代理服务;

S13、并利用后端模块提供数据服务,由前端负责获取读取本地数据库,并将获取的数据渲染到页面中;

所述搭建Hadoop集群,对本地数据库的数据进行可视化分析的人机交互的预处理操作,并得到图结构数据包括以下步骤:S21、利用Hadoop集群,将本地数据库的数据场景进行搭建,并将数据在移动端进行可视化展示;

S22、根据管理员的分配权限,为用户端提供操作界面与展示界面;

S23、采用字母窗口模式设计,分别安排预览和信息输入操作的呈现本地数据库的数据;

S24、观察界面则采用主窗口设计模式,屏幕区域用于显示可视化的视觉图形,并在符合用户操作行为习惯的一侧安排按钮功能区;

S25、用户端通过交互的方式对本地数据库的数据进行处理,得到图结构数据;

其中,所述交互的方式包括手势交互、语音交互及动作交互;

所述基于MapReduce实现对图结构数据进行预处理包括以下步骤:S41、使用MapReduce对图结构数据进行图结构数据的过滤、清洗操作和数据挖掘算法;

S42、经过Map阶段实现图结构数据的过滤和清洗;

S43、在Reduce阶段完成了用户访问序列的还原;

其中,所述清洗的公式为:

式中,Weight[i]为第i个图结构数据的权重,R1与R2为图结构数据中的数据;Is Valid(i)为第i个图结构数据中实例变量的值;SimilarField[i]为第i个图结构数据中相似变量的值。

2.根据权利要求1所述的一种基于可视化分析图的UI数据处理方法,其特征在于,所述搭建Hadoop集群包括以下步骤:安装Java软件,创建Hadoop用户,下载并安装Hadoop的发行包;

登录Hadoop,利用SSH执行Hadoop集群的操作;

将主机器和工作机器采用同一配置文件,针对不同的分析场景以及不同大小的数据集规模构建不同的Hadoop集群。

3.根据权利要求2所述的一种基于可视化分析图的UI数据处理方法,其特征在于,所述用户端通过交互的方式对本地数据库的数据进行处理,得到图结构数据包括以下步骤:S251、用户端打开系统操作界面,进入数据读取界面;

S252、点击显示数据读取及读取历史,通过本地数据库快速获取曾经处理的数据;

S253、将各种格式的数据统一处理为结构化数据进行预览展示;

S254、在预览展示的基础上,选择视觉图形的类型以及确定抽象数据到视觉图形属性的映射关系;

S255、根据系统设置信息、视觉图形配置信息将数据转换为对应的视觉图形,进行视觉图形的展示和交互。

4.根据权利要求1所述的一种基于可视化分析图的UI数据处理方法,其特征在于,所述搭建分布式存储集群,利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储,并基于副本集对图结构数据进行存取包括以下步骤:S31、搭建分布式存储集群,创建一个主节点与若干备份节点,并为节点的设备提供数据管理;

S31、为服务器创建图结构数据目录,并选择服务器端口给设备添加名称;

S32、在设备中创建文档型数据库,提供数据分片规则,定位图结构数据的位置,并对数据进行处理;

S33、通过副本集对图结构数据进行存放与读取。

5.根据权利要求4所述的一种基于可视化分析图的UI数据处理方法,其特征在于,所述经过Map阶段实现图结构数据的过滤和清洗包括以下步骤:S421、Map开始,输入日志文件中的一行记录;

S422、判断session是否有效,否则返回步骤S431,可用则继续运行;

S423、获取sessionId作为Key,使用其余字段作为Value,输出key/value。

6.根据权利要求5所述的一种基于可视化分析图的UI数据处理方法,其特征在于,所述在Reduce阶段完成了用户访问序列的还原包括以下步骤:S421、Reduce开始,以单个会话作为输入;

S422、将该会话中的所有记录按照时间进行排序,并按时间次序加入到集合中;

S423、对集合进行遍历,判断每一个记录的有效性;

S424、识别会话的起始节点,并加入到路径序列队列的首部,依次识别会话的后续节点,并加入到路径序列队列中;

S425、以sessionId作为key,以路径序列队列作为value,输出key/value。

7.一种基于可视化分析图的UI数据处理系统,用于实现权利要求1‑6中任一项所述的基于可视化分析图的UI数据处理方法,其特征在于,该系统包括:数据读取模块、人机交互模块、图结构数据优化模块及图结构数据处理模块;

其中,所述数据读取模块通过所述人机交互模块与所述图结构数据优化模块连接,所述图结构数据优化模块与所述图结构数据处理模块连接;

所述数据读取模块,基于Node的多进程集群构建分布式网关,读取本地数据库,并代理远程的数据服务;

所述人机交互模块,搭建Hadoop集群,对本地数据库的数据进行可视化分析的人机交互的预处理操作,并得到图结构数据;

所述图结构数据优化模块,搭建分布式存储集群,利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储,并基于副本集对图结构数据进行存取;

所述图结构数据处理模块,基于MapReduce实现对图结构数据进行预处理。