利索能及
我要发布
收藏
专利号: 2018104727899
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.小鼠视频多维特征值的提取方法,其特征在于,具体按照以下步骤实施:

步骤1.分别选择实验小组和对照小组中第一个小鼠原始视频,首先,提取视频帧图像并选择拍摄小鼠视频刚开始的空白场景,然后将空白场景图像进行标记做蒙版图像;

步骤2.读入一组小鼠视频,提取含有小鼠场景的视频帧并将小鼠视频每两帧保存为图片;

步骤3.将步骤2保存的小鼠视频帧图片与步骤1得到的空白场景图像进行图像处理,计算小鼠质心,并判断提取到的小鼠质心在空白场景图像上的位置;

步骤4.根据步骤3得到的小鼠质心落在空白场景蒙版的位置分别确定实验小组和对照小组的小鼠的特征信息。

2.如权利要求1所述的小鼠视频多维特征值的提取方法,其特征在于,所述步骤1的具体操作为:首先分别加载实验小组和对照小组中的第一个小鼠视频,利用opencv的函数VideoCapture提取视频帧,然后观察距离小鼠出现最近的几个视频帧中人工选择一张没有小鼠的空白场景图像,手工标定五个点(A、B、C、D和E),即图像的四个角和中心点,然后,依据这五个点做蒙版。

3.如权利要求1所述的小鼠视频多维特征值的提取方法,其特征在于,所述步骤2的具体操作为:输入计算视频开始时间和终止时间,如果开始时间和终止时间不在小鼠视频范围内,则重新输入计算视频开始时间和终止时间,直到开始时间和终止时间落在小鼠视频范围内;如果开始时间和终止时间在小鼠视频范围内,则采用while循环函数提取小鼠视频帧,然后,将提取到的小鼠视频帧每两帧保存为图片。

4.如权利要求2所述的小鼠视频多维特征值的提取方法,其特征在于,所述步骤3的具体操作为:

步骤3.1将步骤2保存的小鼠视频帧图片和步骤1得到的空白场景图像进行差分处理得到只含有小鼠的图片,具体的差分过程如下:取步骤1具体操作中的空白场景图像Bt,当前帧图像It,两者做作灰度减运算,并取绝对值,即|It(x,y)-Bt(x,y)|,x,y为图片中任意一像素点的坐标值;

步骤3.2经步骤3.1差分处理的图片进行去噪处理,具体过程如下:首先,将差分处理后的图像采用中值滤波处理,另f(x,y),g(x,y)分别为原始图像和处理后的图像,W为二维模板,按照小格子取3*3,5*5区域,中值滤波的输出为g(x,y)=med{f(x-k,y-1),(k,1∈W)},其中,k,l分别为图像的行和列;

然后,将上述二值化的图像进行图像腐蚀,用7*7的结构元素去扫描小鼠图像中的每一个像素点,用结构元素与其覆盖的小鼠图像做“与”运算,如果都为1,结果图像的该像素为

1,若为0,则腐蚀处理的结果是使原来的小鼠图像尺寸像素减小一圈,同时去除图像中的噪声,最终得到只含有小鼠的图像;

步骤3.3将去噪处理的图片采用Canny边缘检测算子,即,使用Opencv中现有的调用函数Canny(),具体参数设置为Canny(gray_Image,canny_output,100,300,3)提取出图片轮廓,得到小鼠的轮廓图像;

步骤3.4采用图像的一阶矩提取小鼠的质心,如公式1所示:

其中,M00表示图像的0阶矩,可以用来求取图像的轮廓和连通区域的面积;和M01表示图像的1阶矩,当图像为二值图像时通过公式2求小鼠的质心(xc,yc),xc,yc表示小鼠质心坐标,i,j为二值图像的行和列,V(i,j)指二值图像的i,j点的像素值;

步骤3.5将计算出的小鼠质心与标定后的空白场景图片进行对比,如果小鼠的质心落在所述空白场景图像中A、B、C和D所围城的矩形框之外,则舍弃该点,如果小鼠的质心落在所述空白场景图像中A、B、C和D所围城的矩形框之内,则保留该点。

5.如权利要求2所述的小鼠视频多维特征值的提取方法,其特征在于,所述步骤4的具体操作如下:步骤4.1将标定后的实验小组和对照小组的所述空白场景蒙版图像均分为九个区域依次记为A1、A2、A3、A4、A5、A6、A7、A8和A9;

步骤4.2分别根据实验小组和对照小组的小鼠质心在空白场景蒙版图像A1~A9各个区域的轨迹依次连接画出小鼠的路径图像,同时计算小鼠的平均速度;根据小鼠视频中相邻三帧的质心坐标计算小鼠的角度信息;根据小鼠质心在空白场景蒙版图像A1~A9各个区域的停留时间统计小鼠的时间信息。

6.如权利要求5所述的小鼠视频多维特征值的提取方法,其特征在于,所述步骤4.2中小鼠的平均速度的计算过程如下:统计小鼠质心在5分钟时间内的路程,由 得到小鼠的平均速度,路程s的具体计算为,假设相邻两帧中小鼠的质心坐标为(x1,y1)和(x2,y2)则小鼠在此两帧之间运动的距离Δs为 其中,L表示图像中的像素与现实场景中距离的比例关系,对视频中所有相邻两帧之间的距离求和最终得到总距离s;

步骤4.2中小鼠路径直线率的计算方法如下:在得到的小鼠质心图像中,每隔3帧取一帧上的小鼠质心坐标,连续三个质心坐标计算一个小鼠的转折角度,统计各段视频中小鼠分别在各个角度范围类转折的次数,计算得到小鼠在各个角度范围内的转折次数。

7.一种将权利要求1或5所述的小鼠视频多维特征值的提取方法提取后的小鼠视频分类的方法,其特征在于,具体按照以下步骤实施:步骤1.分别将实验小组和对照小组的小鼠活动区域图片截取出来,将提取的小鼠的路径信息,直线率和角度信息以及时间信息映射在小鼠活动区域的图片上,将9个区域的小鼠时间信息如下公式进行压缩处理 其中pixi表示换算后的像素值,Ai表示一个视频中9个区域的小鼠停留时间;角度信息按 进行像素的转换压缩,这里Angi为变换后的像素值,f(xi)为小鼠质心在不同角度范围内的转角次数;对于剩余的速度、休息时间以及Ang10与Ang11映射到2*2的矩形块中,这里对速度和休息时间不做处理直接映射;

步骤2.然后分别将实验小组和对照小组的小鼠的路径信息,直线率和角度信息以及时间信息按照0.5,0.25,0.25的比例进行蒙太奇融合,将融合后的实验小组的图像与对照小组的图像作为神经网络的输入,使用64个卷积核与3*3的池化对输入图像进行处理,得到

64*67*67的特征图像;

步骤3.将步骤2中处理后的图像进行两层的全连接完成训练,得到训练好的卷积神经网络,最后用此神经网络对实验小组和对照小组的小鼠视频进行分类。