1.一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于包括以下步骤:
S1、分析场景特征,提取场景信息,辅助虚拟标志物,构造场景空间;
S2、采集小鼠运动的视频数据,创建数据集,分析小鼠的语义塑型点,构建小鼠语义姿态模型;
S3、选取深度神经网络,并用数据集进行学习训练,提取小鼠语义塑像点的动态信息;
S4、基于计算机视觉单视图射影几何原理,将视频序列图像平面中的实验小鼠语义塑型点映射到现实场景下,实现塑型点在真实场景中的回归定位;
S5、利用密集度聚类算法对回归定位的塑型点进行聚类分析,锁定关键运动行为的子序列帧;
S6、针对关键的行为序列帧,明确不同空间平面内塑型点的位置信息,利用场景几何约束,对不同平面内塑型点的位置信息进行分析,突出不同空间内塑型点与场景结构间的关联性以及塑型点间的几何特性,并针对其特征和差异性进行分析,确定特征行为并进行量化分析;
S7、利用上述的分析方法,在平面图像与现实场景中,建立强几何单应性约束,定性分析塑型点在不同平面间的转换,突出不同塑型点变化的差异性,确定直立行为,并对行为发生的时刻、时长、频次行为参数进行量化分析。
2.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:步骤S1具体为分析和提取实验旷场本身的内在结构信息;编码标志物,创建虚拟的结构特征,使其可以叠加在真实场景中。
3.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:步骤S2具体为在场景结构化的基础上,调整相机指标,校正去畸变,采集小鼠视频;基于混合高斯模型的背景差法,将前景和背景分离,利用分割算法,制备小鼠的数据集;分析小鼠的运动特性,用语义塑型点代替身体部位,构建小鼠的语义姿态模型。
4.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:步骤S3具体为:对比和分析啮齿类动物跟踪模型的网络结构和性能,选用深度神经网络模型Deeplabcut,并利用子图数据集对网络模型进行训练和学习,将训练好的模型用于预测小鼠语义塑型点的位置,提取小鼠语义塑像点的动态信息。
5.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:步骤S4具体为:基于计算机视觉单视图射影几何原理,将视频序列图像平面中的实验小鼠语义塑型点映射到现实场景下,将2D图像平面内的塑型点,通过反向射影变换,映射到3D空间内,实现塑型点的回归定位,在3D空间内重现塑像点的运动信息。
6.根据权利要求5所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:所述反向投影变换包括:首先,在相机标定中,确定相机的内参和外参,使真实场景中的定位点和图像中的定位点一一对应,确定相机的投影矩阵P;射影矩阵P,是一个3×4的矩阵,有11个自由度,公式如下:sx=PX=K[R,t]X=[P1,P2,P3,P4]X
式中s是一个标量,X表示第i个定位点在空间中的实际位置,x表示第i个场景定位点在像素坐标系上的位置,Pi表示投影矩阵的第i列;
其次,根据投影矩阵P,在针孔摄像机模型下,塑像点在图像平面的坐标仅仅和图像坐标系的选择有关和世界坐标系无关,所以建立以实验所用旷场底面π为世界坐标系的o‑xy平面,塑型点在此平面上的Z轴坐标为零,由此推算出以下公式:T T
(x y 1)表示图像平面内的塑型点齐次式坐标,(X Y 0 1) 表示现实场景中塑型点在旷场地面上的齐次式坐标,hij表示H矩阵的第i行j列,则上式简写成x=HX,H是一个3×3的非奇异的齐次矩阵,具有8个自由度;一旦图像平面和世界平面的单应矩阵被确定,像点就‑1通过H 反向映射为世界平面上的一点,实现塑像点在真实场景中的回归定位。
7.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:步骤S5具体包括:利用基于密度聚类的DBSCAN算法对空间内的塑型点的运动信息进行聚类分析,统计各点间的紧密程度,划分为不同的类别,对聚类的结果进行分析,锁定不同类别对应的不同序列,对序列进行筛选,最后抽取出关键的运动子图序列。
8.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:步骤S6包括:根据小鼠的运动特性和所处场景内的几何特性,包括利用塑型点与空间内点线面存在的几何约束关系、与场景结构空间的消失线、消失点间的约束关系和塑型点间的交比几何约束关系,明确塑型点在不同空间下与场景几何约束存在的关系,使塑型点改变的物理意义更明显,度量塑型点的差异性。
9.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:步骤S7具体为:在场景几何中以单应性矩阵建立2D像素平面和小鼠爬行平面的强几何单应性约束;使塑型点经过平面间的映射,强调动态物理量变化参数,突出其差异性;所述建立组合识别条件,包括计算2D和3D空间内的塑型点组成的形体向量,分析同一帧在场景几何约束下,根据不同平面内形体向量间大小和方向变化的差异性,作为判据条件;针对不同的判别条件,设置限定阈值,并进行双调查找分析,是否符合判据条件趋势变化,作为预判定行为的存在,最后经过组合特判别条件的分析,确定为直立行为序列,并记录序列存在的时长和所处的时间节点。
10.根据权利要求9所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方法,其特征在于:所述计算2D和3D空间内的塑型点组成的形体向量,分析同一帧在场景几何约束下,塑型点经过映射,不同空间内塑型点组成的形体向量模长的差异性,包括:计算2D空间内鼻尖和尾根的两个塑型点组成的形体向量为 3D空间内鼻尖和尾根的两个回归定位塑型点组成的向量为 计算同一帧在不同空间内向量的模长,比率为:基准向量包括以关键子序列首帧的前一帧的两个塑型点的向量。