1.一种基于张量融合和LSTM网络的特征融合方法,其特征在于,该方法的实现内容包括:步骤S1、获取异构数据,将获取异构数据称为完整模态异构数据;
步骤S2、将完整模态异构数据拆分为A个子模态异构数据,每个子模态异构数据包含对同一事物的所有描述,其中,A1、A2为大于0的自然数,A1个子模态异构数据均不含有缺失数据,被称为完整子模态异构数据,A2个子模态异构数据分别含有缺失数据;
步骤S3、对A2个子模态异构数据分别进行预处理:删除每个子模态异构数据中含有缺失值的所有行,删除数据后的子模态异构数据称为缺失子模态异构数据;
步骤S4、利用低秩表示分别提取A1个完整子模态异构数据和A2个缺失子模态异构数据的特征,随后利用张量融合对提取特征后的完整子模态异构数据和缺失子模态异构数据的关系进行数学建模,得到两者的共性矩阵,共性矩阵一共有A1*A2个;
步骤S5、将步骤S4得到的A1*A2个共性矩阵进行拼接,拼接完成后输入LSTM网络,LSTM网络融合拼接的共性矩阵,并输出融合矩阵。
2.根据权利要求1所述的一种基于张量融合和LSTM网络的特征融合方法,其特征在于,步骤S1中获取已经处理成特征向量的异构数据。
3.根据权利要求2所述的一种基于张量融合和LSTM网络的特征融合方法,其特征在于,执行步骤S3时,使用matlab,利用isnan函数找到A2个子模态异构数据中缺失值所在的行,将A2个子模态异构数据中含有缺失值的行删除掉,得到A2个缺失子模态异构数据。
4.根据权利要求2所述的一种基于张量融合和LSTM网络的特征融合方法,其特征在于,执行步骤S4时,对完整子模态异构数据和缺失子模态异构数据的关系进行数学建模得到两者的共性矩阵,这一过程的具体操作步骤包括:步骤S4.1、引入公式(1)的线性函数,
y=ωx+b 公式(1)
其中,ω表示权重,x表示输入的完整子模态异构数据或缺失子模态异构数据,b表示偏置,y表示输出的矢量值;
步骤S4.2、通过公式(1)的线性函数,将完整子模态异构数据和缺失子模态异构数据分别由标量变为矢量,得到表示完整子模态异构数据的矩阵A1,A2,…,An,以及表示缺失子模态异构数据的矩阵B1,B2,…,Bm;
步骤S4.3、利用张量外积,对完整子模态异构数据的矩阵和缺失子模态异构数据的矩l l阵进行数学建模,得到共性矩阵Z , 该共性矩阵Z 包含了完整子模态异构数据与缺失子模态异构数据的所有特征信息;
步骤S4.4、循环执行步骤S4.2-步骤S4.3,直到得到A1*A2个共性矩阵。
5.根据权利要求2-4中任一项所述的一种基于张量融合和LSTM网络的特征融合方法,其特征在于,执行步骤S5时,输出融合矩阵的具体操作内容包括:步骤S5.1、按照建模顺序排列步骤S4得到的A1*A2个共性矩阵;
步骤S5.2、使用matlab的reshape函数调整A1*A2个共性矩阵,使用matlab按行有序拼接调整后的A1*A2个共性矩阵;
步骤S5.3、拼接完成后输入LSTM网络,LSTM网络筛选拼接后A1*A2个共性矩阵中的重要信息,输出二维融合矩阵,所述二维融合矩阵包含A1个完整子模态异构数据和A2个缺失子模态异构数据的所有特征信息;
所述二维融合矩阵的行数等于完整模态异构数据/子模态异构数据的行数,所述二维融合矩阵的列数小于A1*A2个共性矩阵中任意两个共性矩阵的列数乘积最大值,且大于A1*A2个共性矩阵中任一个共性矩阵的列数/行数。
6.一种基于张量融合和LSTM网络的特征融合系统,其特征在于,其结构包括:获取模块,用于获取已经处理成特征向量的异构数据,所获取异构数据称为完整模态异构数据;
拆分模块,用于将完整模态异构数据拆分为A个子模态异构数据,拆分后,每个子模态异构数据包含对同一事物的所有描述,其中,A1、A2为大于0的自然数,A1个子模态异构数据均不含有缺失数据,被称为完整子模态异构数据,A2个子模态异构数据分别含有缺失数据;
预处理模块,用于对A2个子模态异构数据进行预处理,得到A2个缺失子模态异构数据;
特征提取模块,用于利用低秩表示分别提取A1个完整子模态异构数据和A2个缺失子模态异构数据的特征;
张量融合模块,用于利用张量融合对特征提取后的完整子模态异构数据和缺失子模态异构数据的关系进行数学建模,得到完整子模态异构数据和缺失子模态异构数据的共性矩阵,共性矩阵一共有A1*A2个;
判断循环模块,用于判断张量融合模块是否对任一个完整子模态异构数据和任一个缺失子模态异构数据的关系进行了数学建模,若是,则将张量融合模块的输出结果输入拼接模块,若否,则返回张量融合模块继续进行数学建模;
拼接模块,用于对张量融合模块得到的A1*A2个共性矩阵按照建模顺序进行拼接;
LSTM网络模块,用于接收拼接模块输出的拼接矩阵,并输出融合矩阵,所述二维融合矩阵包含A1个完整子模态异构数据和A2个缺失子模态异构数据的所有特征信息。
7.根据权利要求6所述的一种基于张量融合和LSTM网络的特征融合系统,其特征在于,所述预处理模块对A2个子模态异构数据进行预处理,具体操作为:所述预处理模块首先利用matlab的isnan函数找到A2个子模态异构数据中缺失值所在的行,随后将A2个子模态异构数据中含有缺失值的行删除掉,得到A2个缺失子模态异构数据。
8.根据权利要求6所述的一种基于张量融合和LSTM网络的特征融合系统,其特征在于,所述张量融合模块对特征提取后的完整子模态异构数据和缺失子模态异构数据的关系进行数学建模得到共性矩阵的具体操作为:步骤1、引入公式(1)的线性函数,
y=ωx+b 公式(1)
其中,ω表示权重,x表示输入的完整子模态异构数据或缺失子模态异构数据,b表示偏置,y表示输出的矢量值;
步骤2、通过公式(1)的线性函数,将完整子模态异构数据和缺失子模态异构数据分别由标量变为矢量,得到表示完整模态异构数据的矩阵A1,A2,…,An,以及表示缺失子模态异构数据的矩阵B1,B2,…,Bm;
步骤3、利用张量外积,对完整子模态异构数据的矩阵和缺失子模态异构数据的矩阵进行数学建模,得到共性矩阵Zl, 该共性矩阵Zl包含了完整子模态异构数据与缺失子模态异构数据的所有特征信息;
步骤4、循环执行步骤2-步骤3,直到得到A1*A2个共性矩阵。
9.根据权利要求6或7或8所述的一种基于张量融合和LSTM网络的特征融合系统,其特征在于,所述拼接模块对A1*A2个共性矩阵进行拼接的具体操作为:首先,按照建模顺序排列步骤S4得到的A1*A2个共性矩阵;
随后,使用matlab的reshape函数调整A1*A2个共性矩阵,使用matlab按行有序拼接调整后的A1*A2个共性矩阵。
10.根据权利要求9所述的一种基于张量融合和LSTM网络的特征融合系统,其特征在于,所述LSTM网络模块接收有序拼接得到的矩阵,并筛选矩阵的重要信息,输出二维融合矩阵;
所述二维融合矩阵的行数等于完整模态异构数据/子模态异构数据的行数;
所述二维融合矩阵的列数小于A1*A2个共性矩阵中任意两个共性矩阵的列数乘积最大值,且大于A1*A2个共性矩阵中任一个共性矩阵的列数/行数。