1.一种基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于包括:S1.基于边缘计算的多模态舆情数据处理方法,来处理各公司内部的多模态舆情数据,形成多模态舆情数据样本;
S2.采用基于联邦学习的跨平台情感分析模型训练方法,进行跨平台的情感分析训练,获得舆情分析的模型。
2.根据权利要求1所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,所述步骤S1中,基于边缘计算的多模态舆情数据处理方法,包括以下步骤:
1.1)、确定所需要优化的约束条件和目标函数;
1.2)、各公司实时采集属于自己用户的舆情数据,以便进行多模态舆情数据处理;
1.3)、将实时采集的舆情数据向量化,将其转换为计算复杂度向量Ut;
1.4)、建立一个深度强化学习模型,其中强化学习模型的智能体为深度神经网络DNN,并随机初始化网络参数θ0;
1.5)、将第t时刻采集到的计算复杂度向量Ut实时输入DNN网络,通过DNN网络计算得到卸载决策向量At和资源分配向量Ft;
1.6)、根据卸载决策向量At和资源分配向量Ft,在本地和边缘服务器上分配相应的计算资源对多模态舆情数据进行处理;
1.7)、将获得的卸载决策向量At和资源分配向量Ft作为KNN算法的初始数据,根据各项约束条件和目标函数对输入的At和Ft进行优化,选取最优的 和 构成样本数据;
1.8)、循环执行步骤1.5)至步骤1.7),然后每隔10个周期训练一次DNN网络。
3.根据权利要求2所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,步骤1.1)中,目标函数为使得多模态舆情数据的处理时间最短:其中,Fi表示第i个用户需要处理的多模态舆情数据的计算量;Di第i个用户需要处理的多模态舆情数据的数据量;ai表示卸载策略;fi表示移动边缘计算服务器分配给第i个用户进行多模态舆情数据处理的计算资源;fiL表示第i个用户的数据在本地执行时,本地分配的计算资源;ri表示第i个用户的传输速率,由以下公式计算:其中,hi是当前舆情数据从用户传输至边缘端处的信道增益,B为信道带宽, 为用户2
的发射功率,σ为噪声;
约束条件如下:
其中,C1表示当前用户收集到的舆情信息必须选择卸载至边缘端进行处理或者留在本地处理;ai表示卸载策略,0代表本地处理,1代表卸载至边缘服务器进行处理;
C2表示本地计算分配的计算资源不得超过本地可以用于处理数据的计算资源总量;fiL是本地分配的计算资源, 是本地可以用于处理数据的计算资源总量;
C3表示分配给所有用户进行多模态舆情数据处理的计算资源总量不得超过当前边缘端服务器上所能够分配用于多模态舆情数据处理的计算资源总量;ai表示卸载策略,fi是边缘服务器分配给第i个用户多模态舆情数据处理的计算资源, 是当前边缘端所能够分配用于舆情数据处理的计算资源总量。
4.根据权利要求2所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,步骤1.2)中,采用网络爬虫的方法去抓取各自用户的舆情数据。
5.根据权利要求2所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,步骤1.3)中,复杂度向量Ut=[ui,t],ui,t为当前t时刻归一化后的每个多模态舆情数据计算量的大小。
6.根据权利要求2所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,步骤1.5)中,通过DNN网络计算得到卸载决策向量At=[ai,t]和资源分配向量Ft=[fi,t]:ai,t为t时刻第i用户的卸载决策;fi,t为t时刻移动边缘服务器为第i用户分配的计算资源;
其中,DNN网络的第j层网络输出根据下式计算:Oj=g(Oj‑1wj+bj)
式中,Oj是DNN网络第j层输出,wj是第j层的权重,bj是第j层偏置,g(·)为DNN网络的激活函数。
7.根据权利要求2所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,步骤1.7)中,样本的输入为Ut,输出为对应的 和 并存入固定大小的样本库,样本库中数据的存储顺序遵循先入先出的原则。
8.根据权利要求2所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,步骤1.8)中,DNN网络的训练过程为:首先,从样本库中随机抽取n个样本去训练一次网络;然后,根据每个样本的实际输出与期望输出的误差Li,Li为均方误差,计算DNN网络的损失函数L:
其中,n为随机抽取的样本数量,接着采用梯度下降法更新当前网络参数θt:其中,β是学习率, 是损失函数的梯度,θt+1是迭代次数为t+1时神经网络的参数。
9.根据权利要求1所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,所述步骤S2中,基于联邦学习的跨平台情感分析模型训练方法,包括以下步骤:
2.1)各公司将处理后的多模态舆情数据样本进行标准化,得到统一的格式;
2.2)在云端服务器上搭建一个总的情感分析神经网络,并随机初始化神经网络的参数WT;
2.3)各公司在各自的边缘服务器上搭建与云端服务器一致的镜像神经网络;
2.4)云端服务器将网络参数WT传给各个公司用以初始化各镜像神经网络的参数Wk;
2.5)各公司用自己的多模态舆情数据样本Dk来单独训练隶属于该公司的网络模型;
2.6)每隔一定训练的周期,各公司单独回传训练后的网络参数Wk给云端服务器,云端服务器根据Wk来整体更新WT,具体公式为:其中W'T为云端服务器更新后的网络参数,K为镜像神经网络的个数;
2.7)云端服务器将更新后的W'T发送给各个公司更新各自的镜像神经网络参数Wk',然后转到步骤2.5)。
10.根据权利要求9所述基于联邦学习和边缘计算的跨平台多模态舆情分析方法,其特征在于,步骤2.5)中,训练过程可以采用梯度下降法,损失函数采用均方根误差。