1.基于协同对抗的人体三维姿态点群智重建方法,其特征在于,包括如下步骤:步骤1,在同一高度的不同位置设置摄像头a和b,利用摄像头a和b同时进行人体运动时的视频采集,分别对摄像头a和b采集到的视频逐帧截取出图片,并对图片进行人体姿态关键点检测,获取人体二维姿态骨骼关键点模型,即得到二维的骨骼关键点坐标;
步骤2,分别对摄像头a和b得到的人体二维姿态骨骼关键点模型进行筛选,根据摄像头a、b的投影矩阵对人体二维姿态骨骼关键点模型以摄像头a拍摄视频的视角为主视角进行三维重构,即建立以摄像头a为主视角的三维坐标轴,将二维的骨骼关键点坐标投影到三维坐标轴内,得到三维的骨骼关键点坐标,根据预先设置的骨骼关键点编号连接三维骨骼关键点,得到人体三维姿态骨骼关键点模型;
步骤3,在与摄像头a、b相同高度的不同位置设置摄像头c,与摄像头a、b同时进行视频采集,根据步骤1相同的方法,将摄像头c和a得到的人体二维姿态骨骼关键点模型以摄像头a拍摄视频的视角为主视角进行三维重构,与a、b所重构出的模型进行比较,采用基于群体智能的对抗网络进行三维姿态骨骼关键点模型的校准,得到最终的三维姿态骨骼关键点模型;
所述步骤3中,摄像头c的位置选取遵循以下马尔科夫决策:状态空间:表示摄像头c能够拍摄的位置的集合S,S={s1,s2,...,sW},sw表示第w个状态,w=1,...,W;
*
动作空间:表示摄像头c移动到能够拍摄的位置的动作的集合a ,表示第h个动作,h=1,...,H;
奖励值函数:表示状态sw采取动作 预计能够得到的累计收益令摄像头c为智能体,在η时刻下,摄像头c处于环境状态s(η)∈S,智能体根据策略函数π从动作空间中挑选一个动作 来执行; 会反馈给智能体奖励信号rη,状态空间根据状态转移概率 从s(η)转移到s(η+1),以此循环;各时刻下的动作、状态与奖励信号表示为: η∈[1,T],T表示迭代结束时间;
衡量长期奖励Rη的折扣因子γ,γ随时间增长呈指数递减,Rη表示为:其中,γ∈[0,1],是平衡即时影响和长期奖励的权重, 表示 的奖励信号函数;
对各个状态s进行评价的状态值函数用期望函数来衡量每个状态s的价值,在s(η)状态π
下,状态值为V(s(η)):
π
V(s(η))=E[Rη|s(η)]π
其中,E[]表示数学期望,马尔科夫决策过程的状态值函数V(s(η))进一步写作:π * π
V(s(η))=E[r(s(η),aη)+γV(s(η+1))]在状态sη下进行动作 后获得的累计回报的动作值函数 为:状态动作值的贝尔曼方程为:
* *
对于在状态s(η)下的最优策略π,最优状态值函数V(s(η))为:*
最优策略π下的最优值函数用动态编程表达为:其中,k是迭代参数,s(η+1)是对于当前状态s(η)的下一个状态;p是状态转移概率,摄像头c在进行动作 后一定会变换位置,p为100%;根据贪婪策略,将摄像头c处于状态s(η)*时做出的根据最优策略π选择的最优动作用函数表示为:*
其中,π(s(η))决定摄像头c的最优动作,即最优的拍摄位置选择;
基于群体智能的对抗网络的对抗奖惩方法为:将根据摄像头c得到的人体二维姿态骨骼关键点模型与摄像头a得到的人体二维姿态骨骼关键点模型以摄像头a拍摄视频的视角为主视角进行三维重构,将重构出的人体三维姿态骨骼关键点模型与步骤2重构出的人体三维姿态骨骼关键点模型相比,骨骼关键点数量相差少于2个且骨骼关键点的相对坐标差值在10%以内,则惩罚c,使c更换位置再次进行检测;反之则惩罚摄像头a、b构成的系统,更换摄像头a、b的摆放位置,重新进行检测重构;
当连续惩罚c的次数达到4次,则确认摄像头a、b构成的系统重构出的模型为最终的人体三维姿态骨骼关键点模型;
对抗奖惩的奖惩函数为:
其中,o=1表示奖励,o=0表示惩罚,C为奖励值函数,C值为1时摄像头c更换摆放位置,C值为‑1时摄像头a、b更换摆放位置。
2.根据权利要求1所述的基于协同对抗的人体三维姿态点群智重建方法,其特征在于,所述步骤1中,采用Yolov5算法进行人体识别并使用Mediapipe框架进行人体姿态关键点检测。
3.根据权利要求1所述的基于协同对抗的人体三维姿态点群智重建方法,其特征在于,所述步骤2中,对人体二维姿态骨骼关键点模型进行筛选,具体如下:对于某个人体二维姿态骨骼关键点模型φ,根据其缺失的骨骼关键点数量,决定在重构时是否忽略该人体二维姿态骨骼关键点模型φ,具体公式如下:其中,N(φ)为φ的分段函数,N(φ)为0表示重构时忽略该人体二维姿态骨骼关键点模型,N(φ)为1表示不忽略,F不是φ中关键点的个数,φf表示φ的第f个关键点是否缺失,若缺失则表示为1,反之则表示为0,N为预先设定的阈值,N取25。
4.根据权利要求3所述的基于协同对抗的人体三维姿态点群智重建方法,其特征在于,所述步骤2中,三维重构的具体过程如下:令三维重构后,某三维的骨骼关键点在世界坐标系下的坐标为P(x,y,z),其在摄像头a和b对应的图片中的二维骨骼关键点坐标分别为Pa(ua,va)与Pb(ub,vb),根据摄像头针孔成像模型,得到摄像头a和b的坐标变换公式如下:其中,Za与Zb为变换矩阵,Ma与Mb分别为摄像头a与摄像头b的投影矩阵,ma11、ma12、ma13、ma14、ma21、ma22、ma23、ma24、ma31、ma32、ma33、ma34为摄像头a的投影矩阵参数,mb11、mb12、mb13、mb14、mb21、mb22、mb23、mb24、mb31、mb32、mb33、mb34为摄像头b的投影矩阵参数;
将坐标变换公式中的Za与Zb消去,得到:AP=B
其中,
T
P=[x y z]
通过最小二乘法,得到点P的三维空间坐标:T ‑1 T
P=(AA) AB
根据预先设置的骨骼关键点编号连接三维骨骼关键点,得到在三维空间中重构出的人体三维姿态骨骼关键点模型。