欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2023106937591
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种城市流量预测方法,其特征为,具体包括如下步骤:

S1:对城市流量数据以经纬度划分为网格,每个网格代表一个区域,然后按时间顺序以窗口滑动方式对城市流量数据进行划分,并构造时空随机遮掩数据和序列打乱数据;

S2:对于时空随机遮掩数据,利用时空随机遮掩编码器EncM进行时空随机遮掩预训练;

S3:对于序列打乱数据,利用全局与局部相结合的注意力模块EncC进行序列顺序对比学习预训练;

S4:构建图处理模块,将时空随机遮掩预训练中自注意力模块产生的注意力权重处理为城市区域间相关性系数,利用图处理模块增强空间相关性捕捉能力;

S5:将预训练模块与图处理模块融合,构建时空融合预测模块,进行预测训练。

2.如权利要求1所述的城市流量预测方法,其特征在于:步骤S1中,将城市流量数据中每个时刻的流量图以经纬方向划分为若干个网格,每个网格代表一个区域,然后将带有时间信息的城市流量数据利用长度为n的滑动窗口进行划分,每次划分得到一个长度为n的连续流量数据单元U,所有得到的连续流量数据单元U共同组成连续流量数据单元集S。

3.如权利要求2所述的城市流量预测方法,其特征在于:构造时空随机遮掩数据和序列打乱数据的步骤为:S1‑1:在连续流量数据单元集S中的每个连续流量数据单元U中,针对每个时刻的每个区域,都以概率μ决定是否遮盖,得到时空随机遮掩数据;

S1‑2:将连续流量数据单元集S中的一个连续流量数据单元U打乱作为负样本,将该连续流量数据单元U本身作为锚点,从连续流量数据单元集S中随机选择另一个连续流量数据单元作为正样本,得到锚点及其正负样本构成的用于序列顺序对比学习的数据。

4.如权利要求1所述的城市流量预测方法,其特征在于:步骤S2中,将时空随机遮掩数据中被遮掩区域记录位置信息后去除,通过时空随机遮掩编码器EncM提取高维特征,恢复不包含流量数据的被遮掩区域位置后,时空随机遮掩编码器EncM利用视觉Transformer编码器从剩余区域中提取高维特征,然后利用视觉Transformer解码器恢复被遮掩区域的流量数据信息,与真实流量数据计算损失以进行梯度下降,从而进行时空随机遮掩的预训练。

5.如权利要求1所述的城市流量预测方法,其特征在于:步骤S3中,首先建立全局与局部相结合的注意力模块EncC,将序列打乱数据中的锚点及其正负样本通过注意力模块EncC提取高维特征后通过线性层改变形状,利用三元组损失进行序列顺序对比学习预训练,使得锚点特征与正样本特征更近,与负样本特征更远;经过序列顺序对比学习预训练,注意力模块EncC学习到捕获城市流量变化过程中区域与时序间关系的差异性特征。

6.如权利要求5所述的城市流量预测方法,其特征在于:

S3‑1:将时序打乱数据利用PatchEmbed层和层归一化处理为形状为C×H×W的低维特征张量,在上述处理中,特征的相对位置没有变化,故特征所代表的区域的相对位置也没有变化,其中C代表时序长度,将低维特征张量划分为H×W个patch,每个patch的形状为C×1,故每个patch包含一个区域流量;每个patch通过线性层得到相应的向量qS,经过另外两个线性层会分别得到kS和vS,然后qS、kS和vS进行局部注意力计算的过程如下式:,

其中,dK表示向量qS和vS的欧氏距离,CS代表计算过程中产生的注意力权重,IS是局部注意力的运算结果;

S3‑2:将时序打乱数据利用卷积层和线性层进行形状变换,再经过层归一化,得到形状为H'×W'×C的低维特征张量,其中C代表时序长度,H'×W'代表某个时刻整个城市的流量分布特征图大小,在时序角度将特征分割为形状为H'×W'×1的patch,每个patch包含这个时刻各个区域的具体流量分布情况;然后进行全局注意力计算,每个patch经过三个线性层后得到相应的三个向量qt、kt、vt,利用以下公式进行计算:,

其中dK表示向量qt和vt的欧氏距离,Ct代表计算过程中产生的注意力权重,It是全局注意力的运算结果;

S3‑3:将得到的局部注意力机制计算结果IS与全局注意力计算结果It利用concat层进行连接,然后经过卷积层降维后通过层归一化层得到局部与全局注意力计算结果I,其中包含丰富的时序序列变化过程中区域间流量的变化特征;

S3‑4:时序打乱数据中所包含的锚点、正样本和负样本分别经过全局与局部相结合的注意力模块EncC,然后利用归一化层与线性层对特征维度进行改变,得到高维特征,然后通过三元组损失函数计算并进行梯度下降,三元组损失函数如下:,

+ ‑

其中,H为锚点对应的高维特征,H为正样本对应的高维特征,H为正样本对应的高维特征,α是控制特征距离的参数,d(T)代表其中一个锚点与其对应的正负样本所计算的三元组i损失,Ltriplet是在一组训练样本中的三元组损失之和,d(T)代表一组训练样本中的第i个样本中锚点与其对应的正负样本所计算的三元组损失,N为参与计算的样本数量。

7.如权利要求1所述的城市流量预测方法,其特征在于:步骤S4中,构建图处理模块GPM的步骤为:(1)为表示各个区域对自身的影响系数最大,对注意力权重A中对角位置添加修正值,所述修正值为区域系数中最大值max(A)与对角矩阵diag(1,1,...,1)的乘积,得到矩阵A',具体步骤为: ;(2)注意力权重中存在较小值,为突出重要区域,设计如下算法去除较小值影响:

,其中,mean(A')代表矩阵A'中的平均值,β是人为设定参数,当A'中的值小于时设置为零,否则不变,得到邻接矩阵 ;(3)获取邻接矩阵后,利用图神经网络提取流量数据中的空间变化特征。

8.如权利要求1或7所述的城市流量预测方法,其特征在于:步骤S4中,时空随机遮掩预训练后的时空随机遮掩编码器EncM学习到了各个区域间的相关关系,产生注意力权重,时空随机遮掩编码器EncM产生注意力权重的具体步骤为:时空随机遮掩预训练后的时空随机遮掩编码器EncM中含有训练好的参数,将连续流量数据单元集S中的连续流量数据单元U利用PatchEmbed层和层归一化处理为形状为C×H×W的低维特征张量,在上述处理中,特征的相对位置没有变化,故特征所代表的区域的相对位置也没有变化,其中C代表时序长度,将低维特征张量划分为H×W个patch,每个patch的形状为C×1,故每个patch包含一个区域流量;每个patch通过线性层会得到相应的向量q,同样地,经过另外两个线性层会分别得到k和v,然后q、k和v进行局部注意力计算的过程如下式:,

其中,dK表示向量q和v的欧式距离,C代表计算过程中产生的注意力权重。

9.如权利要求1所述的城市流量预测方法,其特征在于:步骤S5中,将时空随机遮掩预训练模块与图处理模块GPM融合,构建时空融合预测模块,进行预测训练的步骤为,S5‑1:时空随机遮掩编码器EncM经过时空遮掩预训练后连接卷积神经网络,与图处理模块GMP输出的特征相加,之后连接线性层改变形状得到高维特征,然后通过残差网络解码,得到预测结果 ;S5‑2:全局与局部相结合的注意力模块EncC经过序列顺序对比学习预训练后,依次连接线性层和卷积层改变形状,然后通过GRU进行时序特征增强,之后利用残差网络解码,得到预测结果 ;S5‑3:将得到的预测结果 和 进行相加,融合为最终预测结果 ,并且利用损失函数进行梯度下降的神经网络训练。