利索能及
我要发布
收藏
专利号: 202410155510X
申请人: 江苏省海洋资源开发研究院(连云港)
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于区块链的数据处理方法,其特征在于,所述方法执行以下步骤:

步骤1:数据预处理:将待处理数据进行数据预处理,得到预处理数据;所述数据预处理的过程包括:数据降噪处理和数据分割处理;所述数据降噪处理至少包括:去除数据唯一属性、处理数据缺失值、数据异常值检测和数据规约处理;所述数据分割处理,将数据降噪处理后的每一个数据进行数据分割,以得表征数据内容的数据体和表征数据属性特征的数据头;

步骤2:构建区块链系统,所述区块链系统中包含多个区块;建立区块链系统的系统哈希树,每个区块均拥有一个系统哈希树中的哈希值,该哈希值为区块的根哈希;

步骤3:在每个区块中构建哈希树,区块中的每个节点均拥有一个哈希树中的哈希值,该哈希值为区块中的节点的根哈希;同时为每个区块添加一个标志;所述标志至少包括:时间戳;所述根哈希、哈希树和标志构成区块的区块头;所述每个区块内存储的数据块和映射数据块构成区块的区块主体;

步骤4:将数据体和数据头输入到区块链系统中,区块链系统中的每个区块对接收到的数据体和其对应的数据头进行数据录入,每个数据头和对应的数据体作为区块主体中的数据块,每个数据块对应哈希树中的一个哈希值;然后更新数据记录和更新区块头中的标志;

步骤5:每个区块对数据录入后的数据体和数据头进行数据复制,将数据复制后的数据体和数据头进行数据自加密;

步骤6:每个区块将本区块内进行数据复制后,以及进行数据自加密后的数据体进行数据逐块写入,将数据自加密后的数据体逐块写入到下一个区块中;所述下一个区块定义为系统哈希树中与本区块的哈希值构成相互映射的另一个哈希值所对应的区块;写入到下一个区块中的数据体构成本区块步骤7:进行数据处理时,区块链系统首先接收数据请求,根据接收到的数据请求首先发送数据获取命令,该数据获取命令通过系统哈希树进行区块筛选,以确定数据处理时的所需要的区块,这些区块之间彼此通过系统哈希树中的哈希值进行关联;

步骤8:再在筛选出的区块中基于区块中的哈希树进行数据筛选,以确定数据处理时所需要的区块中的数据,这些数据之间通过区块中的哈希树的哈希值进行关联;

步骤9:通过筛选出的区块和筛选出的区块中的数据,规划数据处理路径,以使得数据处理时的路径最短;

所述步骤1中处理数据缺失值的方法包括:数据准备,获取没有缺失值的数据以进行数据的预处理,然后根据给定的缺失率构造随机掩码,将新生成的随机掩码和相对应的数据作为新的数据集,用来进行模型的训练;模型训练,利用数据准备步骤生成的新数据集进行模型训练,以构建基于神经网络分解的模型;模型使用,针对有缺失值的待处理数据构造对应的掩码,使用上述经过训练的模型,来进行待处理数据缺失值的缺失值填补;

所述步骤1中数据异常值检测的方法包括:将待处理数据,按照时间顺序进行排序,对缺失数据用一个随机生成的数据进行填补,得到初步整理数据;对所述初步整理数据进行异常值检测处理,把检测出的异常值用一个随机生成的数据进行填补;对异常值检测处理之后的数据进行异常值校正处理,即对数据中的0值进行填补,完成待处理数据的异常值检测和校正;

所述步骤5中将数据复制后的数据体和数据头进行数据自加密的方法包括:将复制后的数据进行数据模糊,包括将所述数据分成多个块,并在所述块之间交换数据;以及使用加密算法加密所述数据;将来自复制数据的已知信息用作加密密钥;每个块被单独加密,并且对于每个块,将来自另一个块的已知信息用作所述加密密钥;所述复制数据确定散列值,以及使用所确定出的散列值来确定所述块的大小和/或所述块的数量。

2.如权利要求1所述的方法,其特征在于,所述步骤1中进行数据规约处理的方法包括:

去平均值、计算协方差矩阵、计算协方差矩阵的特征值与特征向量、对特征值从大到小排序、保留最大5个特征向量、将数据转换到5个特征向量构建的新空间中;最后得处理后的新的数据,这些数据之间两两不相干。

3.如权利要求2所述的方法,其特征在于,所述步骤5中每个区块对数据录入后的数据体和数据头进行数据复制的方法包括:将数据头直接进行复制,将数据体中的数据与一个随机生成的数值进行取平均值计算后,再进行复制。

4.如权利要求1所述的方法,其特征在于,所述加密算法为对称加密算法。

5.如权利要求1所述的方法,其特征在于,所述步骤9中通过筛选出的区块和筛选出的区块中的数据,规划数据处理路径,以使得数据处理时的路径最短的方法包括:首先通过系统哈希树对筛选出的区块进行路径连接,联系顺序按照每个区块在系统哈希树中对应的哈希值的映射顺序确定;将每个区块视为一个节点,在每个节点下再基于筛选出的数据进行数据路径规划。

6.一种用于实现权利要求1至5之一所述方法的基于区块链的数据处理装置。