1.一种新能源发电侧实现边缘数据存储与传输的方法,其特征在于,包括如下步骤:获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标;
将所述节点数据进行预处理和标准化处理,得到符合存储要求的结构化数据;
根据不同类型节点数据的重要性程度,确定各边缘节点对应的所述结构化数据的重要性指标;
基于所述重要性指标和所述资源利用指标从所述分布式存储节点中确定数据适应性分配的目标存储节点;
根据不同类型节点数据的关键性指标计算各边缘节点对应的所述结构化数据的冗余备份数量;
基于数据的所述目标存储节点和所述冗余备份数量将所述结构化数据存储到对应的分布式存储节点中;
根据数据请求需求,基于一致性哈希算法从所述分布式存储节点中定位并读取所需数据;
将所述所需数据进行加密处理和压缩处理,在保证数据质量的前提下,以最大化数据传输效率为目标,基于传输网络状况和数据传输流量动态调整压缩率和传输协议;
基于所选择的所述传输协议对加密压缩后的所述所需数据进行传输;
从所述分布式存储节点中确定数据适应性分配的目标存储节点,具体包括如下步骤:将所述结构化数据划分至对应的重要性等级中并根据所述重要性指标进行排序,所述重要性等级是根据所述节点数据的重要性程度所划分的若干个等级,每一个所述重要性等级对应一个重要性指标范围,所述重要性指标范围是基于所述重要性指标划分得到的;
基于每个所述重要性等级中的结构化数据数量和对应范围内的分布式存储节点数量进行适应性分配计算,将排序后的所述结构化数据平均分配至所述资源利用指标从小到大排序的分布式存储节点中,从而确定每个所述结构化数据的目标存储节点,每一个所述重要性等级对应一个分布式存储节点范围,所述分布式存储节点范围是基于所述资源利用指标划分得到的。
2.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法,其特征在于,所述重要性指标是基于所述节点数据中各类型数据的重要性权重确定的,所述重要性权重由所述各类型数据在各自应用领域对新能源发电侧边缘节点进行运行监测的贡献程度确定。
3.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法,其特征在于,所述适应性分配计算,具体按照下式进行:;
式中, 为结构化数据数量为m,分布式存储节点数量为n的适应性分配计算函数,为数据量,为分布式存储节点编号,为m除以n得到的余数。
4.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法,其特征在于,所述关键性指标由评估所述节点数据是否需要冗余备份的若干个因素和对应权重确定,当所述因素包括数据类型、使用频率和数据丢失造成影响的衡量指标时,所述关键性指标按照下式计算:;
式中, 为所述关键性指标的值, 、 和 分别为所述数据类型、所述使用频率和所述衡量指标, 、 、 分别为对应的权重。
5.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法,其特征在于,所述冗余备份数量具体按照下式计算:;
式中, 为所述冗余备份数量的值, 为冗余备份函数, 为所述关键性指标的值,为预设整数, 表示向上取整操作。
6.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法,其特征在于,在基于一致性哈希算法从所述分布式存储节点中定位并读取所需数据中具体采用动态一致性哈希算法,定位并读取的流程具体包括如下步骤:根据当前的查询条件确定对应的哈希函数,所述查询条件为根据若干种不同的查询需求预设的查询规则,在所述动态一致性哈希算法中设置不同的所述哈希函数与所述查询规则一一对应;
利用所述哈希函数计算所述数据请求需求对应的数据项的哈希值;
基于所述哈希值,从哈希环的顺时针方向开始寻找,找到的第一个节点为目标节点,所述哈希环为所述结构化数据和所述分布式存储节点采用一致性哈希策略映射而成的哈希空间;
从所述目标节点上读取所述所需数据。
7.一种新能源发电侧实现边缘数据存储与传输的系统,实现如权利要求1‑6中任一项所述的新能源发电侧实现边缘数据存储与传输的方法,其特征在于,包括:数据采集与预处理单元,用于获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标;还用于将所述节点数据进行预处理和标准化处理,得到符合存储要求的结构化数据;
数据存储与读取单元,用于根据不同类型节点数据的重要性程度,确定各边缘节点对应的所述结构化数据的重要性指标;还用于基于所述重要性指标和所述资源利用指标从所述分布式存储节点中确定数据适应性分配的目标存储节点;还用于根据不同类型节点数据的关键性指标计算各边缘节点对应的所述结构化数据的冗余备份数量;还用于基于数据的所述目标存储节点和所述冗余备份数量将所述结构化数据存储到对应的分布式存储节点中;还用于根据数据请求需求,基于一致性哈希算法从所述分布式存储节点中定位并读取所需数据;
数据加密传输单元,用于将所述所需数据进行加密处理和压缩处理,在保证数据质量的前提下,以最大化数据传输效率为目标,基于传输网络状况和数据传输流量动态调整压缩率和传输协议;还用于基于所选择的所述传输协议对加密压缩后的所述所需数据进行传输。
8.一种计算机设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序的指令发送至处理器;
所述处理器根据所述计算机程序的指令执行如权利要求1‑6中任一项所述的一种新能源发电侧实现边缘数据存储与传输的方法。
9.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1‑6中任一项所述的一种新能源发电侧实现边缘数据存储与传输的方法。