利索能及
我要发布
收藏
专利号: 2021102908054
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于监控视频和PDR在线融合定位方法,其特征在于,包括以下步骤:S1、采集用户手机运动传感器数据,根据PDR算法得到用户的PDR轨迹;

S2、采集实时监控摄像头视频流数据,采用深度学习行人检测框架和特征加权算法获得视频行人轨迹;

S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配;

S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。

2.如权利要求1所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S1包括以下分步骤:

S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据,采用滤波算法对传感器数据进行处理,再利用坐标系转换算法,将手机载体坐标系数据转换到平面坐标系上;

S12、基于步骤S11采集的手机传感器数据,采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角,并根据起始位置点通过PDR算法得到用户的PDR轨迹。

3.如权利要求2所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S2包括以下分步骤:

S21、采集实时监控摄像头视频流数据;

S22、将步骤S21得到的视频流按帧处理成图像,并利用深度学习行人检测框架进行处理得到每帧图像中所有行人检测结果,将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹;

S23、对步骤S22得到的每帧视频行人检测结果提取特征,利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度,并将当前视频图像帧行人检测结果关联到初始视频行人轨迹中进行更新,得到新的视频行人轨迹;

S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系。

4.如权利要求3所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S3包括以下分步骤:

S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配;

S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配。

5.如权利要求4所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S31包括以下分步骤:

S311、根据用户单步步长、航向和手机系统时间,通过处理服务器进行时间同步得到单步对应的视频行人轨迹;

S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合,得到该段视频行人轨迹的拟合轨迹;

S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征,基于步骤S12计算的用户步长和航向角得到PDR轨迹特征;

S314、基于步骤S313提取的视频行人轨迹特征,采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M;

S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配,具体内容为:首先基于步骤S314的相似度矩阵M计算匈牙利算法的代价矩阵C,计算公式为:C=I‑M

再根据代价矩阵进行匈牙利算法匹配得到结果矩阵R,若R中的元素ri,j=1,则认为第i条PDR轨迹段和第j条视频轨迹段匹配。

6.如权利要求5所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S312具体包括:

基于视频行人轨迹段WAB中的L个数据样本,其中视频行人轨迹段WAB为起始点为A,结束点为B的单步视频行人轨迹段,采用如下拟合函数hθ(x)对数据进行拟合:hθ(x)=θ0x+θ1

其中θ1和θ0为拟合参数,将起始点A和结束点B的横坐标输入到拟合函数中求出两点对应的纵坐标,得到起始点A坐标(xA,yA)和结束点B坐标(xB,yB)。

7.如权利要求6所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S313具体包括:

计算视频行人轨迹段WAB的长度LA,B,计算公式为:再采用反正切函数计算视频行人轨迹段WAB的运动方向 计算公式为:再将所述步骤S12得到的单步的步长作为单步PDR轨迹段Rab的长度La,b,单步的航向角作为PDR轨迹段Rab的运动方向

8.如权利要求7所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S314具体包括:

计算单步PDR轨迹段Rab的长度La,b和视频行人轨迹段WAB的长度LA,B的比值χ,并归一化到[0,1]范围,计算公式为:

再计算单步PDR轨迹段Rab的运动方向 和视频行人轨迹段WAB的运动方向 的余弦相似度φ,并归一化到[0,1]范围,计算公式为:再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,计算公式为:其中ω1+ω2=1,τχ为预设阈值,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M。

9.如权利要求8所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S32包括以下分步骤:

S321、根据用户多步步长和航向角数据,采用时间同步方式得到多步视频行人轨迹;

S322、将所述步骤S321中得到的视频行人轨迹的起始点作为PDR轨迹的起始位置点,根据步数、步长和航向角数据得到PDR轨迹;

S323、提取PDR轨迹和视频行人轨迹的特征,包括采样点距离、运动方向余弦值和采样点时间差,具体过程为:

设PDR轨迹采样点b坐标为(xb,yb),视频行人轨迹采样点B坐标为(xB,yB),则采样点距离db,B计算公式为:

采用航向角估计算法得到PDR采样点的运动方向,根据前后连续两采样点的坐标,采用所述步骤S314中的反正切函数计算视频行人轨迹每个采样点的运动方向,计算运动方向余弦值φb,B,计算公式为:

其中 为PDR轨迹采样点b的运动方向, 为视频行人轨迹采样点B的运动方向;

计算采样点时间差Δtb,B,计算公式为:Δtb,B=|tb‑tB|

其中tb为PDR轨迹采样点b的采样时间,tB为视频行人轨迹采样点B的采样时间;

对提取的三种特征进行归一化,再通过特征加权计算PDR单个采样点与视频行人轨迹单个采样点的相似度 计算公式为:其中α+β+γ=1;

S324、采用DTW算法计算PDR轨迹和视频行人轨迹的相似度,具体过程为:设PDR轨迹为U={u1,u2,u3,…,un},其中n为PDR轨迹采样点个数,视频行人轨迹为V={v1,v2,v3,…,vm},其中m为视频行人轨迹采样点个数,构建n×m大小的矩阵网络Θ,其中网格元素Θ(i,j)为步骤S23得到的PDR轨迹第r个采样点和视频行人轨迹第c个采样点的相似度,采用动态规划算法得到矩阵网络Θ中的最优路径H={h1,h2,h3,…,hg},其中max(n,m)≤g<(n+m‑1),最优路径中第k个点的累计相似度计算如下:Ωk(rk,ck)=Θ(rk,ck)+min{Ωk‑1(rk‑1,ck),Ωk‑1(rk,ck‑1),Ωk‑1(rk‑1,ck‑1)}其中,Ω1(r1,c1)=Θ(0,0),k表示最优路径中的第k个位置,rk和ck分别表示最优路径的第k个位置在矩阵网络的行序号和列序号。最优路径的最后一个位置点的g相似度Ωg(rg,cg)累积了前面所有位置点{h1,h2,h3,…,hg‑1}的相似度,PDR轨迹U和视频行人轨迹V的相似度Φ(U,V)计算如下:

S325、根据步骤S324得到的PDR轨迹U和视频行人轨迹V的相似度,采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配。

10.如权利要求9所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S4包括以下分步骤:

S41、根据所述步骤S315和S325的PDR轨迹和视频行人轨迹匹配结果确定与每条PDR轨迹匹配的视频行人轨迹Wc;

S42、判断PDR轨迹和视频行人轨迹Wc的相似度是否超过阈值 若是,执行步骤S43,否则执行步骤S49;

S43、判断当前匹配是否为PDR轨迹的第一次匹配,若是,执行步骤S48,否则执行步骤S44;

S44、判断视频行人轨迹Wc的编号是否与上一次匹配的视频行人轨迹Wp编号相同,若是,执行步骤S48,否则执行步骤S45;

S45、判断PDR轨迹与视频行人轨迹Wp在当前时刻的相似度和距离是否都在阈值内,若是,执行步骤S410,否则执行步骤S46;

S46、判断PDR轨迹和视频行人轨迹Wc的相似度或者距离是否在阈值内,若是,执行步骤S47,否则执行步骤S49;

S47、判断PDR轨迹和视频行人轨迹Wp是否连续匹配了预设次数N次,若是,执行步骤S49,否则执行步骤S48;

S48、根据当前视频行人轨迹Wc确定用户当前位置,返回步骤S41;

S49、根据上一次匹配时的视频行人轨迹Wp确定用户当前位置,返回步骤S41;

S410、根据PDR轨迹确定用户当前位置,返回步骤S41。