1.一种基于多维数据的数据处理方法,其特征在于,包括:
获取目标数据库的历史识别数据,对获取的历史识别数据进行数据清洗,并对数据清洗后的数据进行预处理和筛选得到异常识别数据;
其中,通过数据质量工具自动识别和纠正数据质量问题,并将数据格式标准化;
基于历史识别数据采集模块获取历史识别数据,将历史识别数据按照不同类型进行分组,包括自然语言数据组、语音数据组以及图像数据组;
对每个类型的数据组集合进行标记Hj,j=1,2,3;
将异常识别数据进行分组标记,对每个异常识别数据进行有效性计算以及可靠性计算,得到对应的效度和信度;
其中,基于若干计算周期将异常识别数据按照对应数据类型进行分组并标记Ai,i=1,
2,3,并按组记录异常识别数据对应的识别率Si;
对每个异常识别数据进行有效性计算,得到对应的每个异常识别数据的效度D;根据每个异常识别数据的效度继续对其进行可靠性计算,得到异常识别数据的信度XD;
对每个异常识别数据进行有效性计算时,确定每个识别数据组的正常响应时间Ti0;统计每个异常识别数据的识别过程的响应时间Ti和识别率Si;通过公式D=(Ti‑Ti0)×Si计算每个异常识别数据的效度D;
根据每个异常识别数据的效度继续对其进行可靠性计算,统计每个异常识别数据的识别过程的识别复杂度Fi;通过公式 计算获取异常识别数据的信度XD;
式中,α为异常识别数据的信度的预设比例系数,且0<α<1;
将异常识别数据的信度与预设的信度临界阈值比较分析得到偏差数据;
对偏差数据进行偏差发生率的计算和分析,并根据分析结果动态制定偏差数据管理评估准则。
2.根据权利要求1所述的一种基于多维数据的数据处理方法,其特征在于,统计数据组集合Hj的识别率;将数据组集合识别率标记为SLj;
设置数据组识别率标准值Bj;并通过公式ZS=(SLj/Bj)×100%计算获取数据组集合对应的识别指数ZS;
根据计算获得的识别指数数值绘制识别指数曲线,分析历史识别数据的识别指数变化趋势时;
获取任意一组识别数据对应的识别指数变化曲线;通过识别指数变化曲线确定异常临界值;
根据异常临界值确定若干计算周期,基于计算周期对所有数据组的异常临界值取均值;将低于均值的数据标记为异常识别数据。
3.根据权利要求1所述的一种基于多维数据的数据处理方法,其特征在于,将异常识别数据的信度XD与预设的信度临界阈值XD0比较分析;若XD大于XD0,则判定异常识别数据的信度失效并生成失效标签,根据失效标签将对应的异常识别数据标记为偏差数据;若XD不大于XD0,则判定异常识别数据的信度有效并生成有效标签。
4.根据权利要求3所述的一种基于多维数据的数据处理方法,其特征在于,获取偏差数据对应的信度,并通过公式 计算得到偏差发生率PF,式中,β为可变更常数参数;
根据偏差发生率的数值进行评估,制定管理准则,将偏差发生率与预设的所有偏差发送范围进行遍历匹配获取对应的偏差发送范围并生成对应的管理指令,将获取的管理指令发送至不同等级的技术员进行处理分析。