利索能及
我要发布
收藏
专利号: 2025109330819
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多模态特征融合的通用无损数据压缩方法,其特征在于,执行如下步骤S1‑步骤S4,完成多种类型数据的融合和压缩:步骤S1:采集多种类型的原始数据,包括文本、音频、图像、传感器数据,对各类型的原始数据进行预处理,并针对预处理后的各类型数据提取类型特征和内容特征,其中类型特征描述数据整体统计特性,内容特征保留原始数据的结构性信息;

步骤S2:基于交叉注意力模块、液态神经网络、Transformer模块构建并训练多模态特征融合模型,将类型特征和内容特征输入多模态特征融合模型进行融合,获得类型特征和内容特征的融合特征,针对融合特征的每个符号进行条件概率预测,输出每个符号的预测概率分布;

步骤S3:基于每个符号的预测概率分布,采用算术编码方法根据每个符号的预测概率分布动态分配编码区间,对原始数据的字节序列进行压缩;

步骤S4:在压缩过程中引入小批量在线训练机制,依据每个符号的预测概率分布与真实符号之间的负对数似然损失进行反向传播与梯度更新,完成多模态特征融合模型的更新,以及多种类型的原始数据的压缩。

2.根据权利要求1所述的一种基于多模态特征融合的通用无损数据压缩方法,其特征在于,步骤S1的具体步骤如下:步骤S1.1:针对多种类型的原始数据进行统一预处理,将所有类型的原始数据标准化并转化为字节序列,将字节序列依次经过嵌入层、归一化层、线性层处理;

步骤S1.2:针对处理后的字节序列提取内容特征和三种类型特征;

步骤S1.3:分别以三种类型特征作为查询、键、值,进行自注意力计算,输出一个统一的类型特征的融合表示,并形成各类型特征在当前字节序列下的权重表示。

3.根据权利要求1所述的一种基于多模态特征融合的通用无损数据压缩方法,其特征在于,步骤S1中所提取的类型特征包括数据熵、离散余弦变换系数、小波变换能量分布;

其中,数据熵的计算如下式:

其中, 是第i个输入字节 在数据中的出现概率, 表示数据熵;

离散余弦变换系数的计算如下式:

式中, 为第k个离散余弦变换系数,k=0,1,…,N‑1, 为离散序列中第n个样本,N为离散序列长度;

小波变换能量分布的计算如下式:

其中,z为小波变换能量分布,x表示输入数据, 是数据的均值,是标准差,是防止除零的常数。

4.根据权利要求1所述的一种基于多模态特征融合的通用无损数据压缩方法,其特征在于,步骤S1中针对各种类型的原始数据所提取的内容特征是将原始数据的字节序列,截断至预设的最大长度 。

5.根据权利要求2所述的一种基于多模态特征融合的通用无损数据压缩方法,其特征在于,步骤S2的具体步骤如下:步骤S2.1:将类型特征的融合表示映射到与内容特征相同维度空间,和内容特征一起输入交叉注意力模块,交叉注意力模块以内容特征作为查询,以类型特征作为键和值,通过交叉注意力机制对类型特征与内容特征进行特征交互,输出融合特征;

步骤S2.2:使用门控融合单元对原始内容特征与融合特征进行动态加权融合,具体如下式:;

其中, 为门控融合单元在当前时间步t输出的加权融合特征, 为当前时间步t的融合门控矩阵, , 为交叉注意力模块在当前时间步t输出的融合特征, 为当前时间步t的原始内容特征, 表示Sigmoid激活函数;W为可训练的权重参数矩阵;

步骤S2.3:将门控融合单元输出的加权融合特征输入液态神经网络,液态神经网络使用递归神经单元动态调整时序特性,其状态更新公式如下:;

其中, 是当前时间步t的隐藏状态, 是上一时间步t‑1的隐藏状态, 为当前时间步t的门控融合单元控制的更新率;

步骤S2.4:引入模态调控机制,具体如下式:

其中, 表示在当前时间步t经过融合控制和归一化操作后的隐藏状态, 为当前时间步t的融合比例控制门,LayerNorm表示层归一化;

步骤S2.5:将液态神经网络的输出序列输入Transformer模块,经过Transformer模块的嵌入层、位置编码器、编码器、解码器、线性预测层,其中编码器、解码器基于多头自注意力机制,输出融合特征中每个符号的预测概率分布。

6.根据权利要求1所述的一种基于多模态特征融合的通用无损数据压缩方法,其特征在于,步骤S4中的编码区间的计算如下式:;

其中,、为当前编码区间的下界和上界, 、 为当前编码区间新的下界和上界,是第i个输入符号 的累计概率分布函数, 是符号 的累计概率分布函数。

7.根据权利要求1所述的一种基于多模态特征融合的通用无损数据压缩方法,其特征在于,步骤S5中的负对数似然损失的公式如下:;

其中, 为负对数似然损失, 是第i个真实符号, 是真实符号 的预测概率分布。