利索能及
我要发布
收藏
专利号: 2021114342610
申请人: 王乐群
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-03-28
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于ZYNQ加速的运动目标检测系统,其特征在于:包括图像采集模块、图像缓存模块、图像处理模块、图像显示模块,所述图像采集模块分别连接有图像缓存模块和图像处理模块,所述图像处理模块分别与图像缓存模块、图像显示模块连接,所述图像缓存模块连接有图像显示模块;

所述图像处理模块的处理方法为:包括下列步骤:

S1、图像格式转换:将摄像头输入的彩色视频流分为两个,一个用于转灰度,进行后续的图像处理;另一个则用于在图像处理完后进行显示跟踪;

将转换为AXI4_Stream数据流的RGB565数据再转换为RGB888数据,将高位不变,低位补充,即{R[4:0],R[2:0]},{G[5:0],G[2:0]},{B[4:0],B[2:0]}Y=0.299R+0.587G+0.114B

Cb=0.568(B‑Y)+128=‑0.172R‑0.339G+0.511B+128Cr=0.713(R‑Y)+128=0.511R‑0.428G+128

在转换矩阵*256倍后,只需要将Y、Cb、Cr向右移位8位即可还原,得到如下公式:

Y=((77*R+150*G+29*B)>>8)

Cb=((‑43*R‑85*G+128*B)>>8)+128

Cr=((128*R‑107*G‑21*B)>>8+128

由于Verilog运算中出现负数会引起错误,并占用较高的资源,因此对上述公式进行变换,得到如下公式:Y=(77*R+150*G+29*B)>>8

Cb=(‑43*R‑85*G+128*B+32768)>>8

Cr=(128*R‑107*G‑21*B+32768)>>8

所述R、G、B分别表示以红、绿、蓝为三原色的颜色空间模型,所述Y、Cb、Cr是欧洲电视系统所采用的一种颜色编码方法,所述Y表示明亮度,即灰阶值,所述Cb和Cr表示色度,用于描述影像的饱和度和色调;所述R、G、B与Y、Cb、Cr的转换为色彩空间的转换,即将R、G、B的三原色色彩空间转换为Y、Cb、Cr所表示的亮度与色度的色彩空间模型;

S2、中值滤波:使用Verilog实现中值滤波算法时,使用流水线操作的方式对3x3的滤波模块进行快速排序;

为了获得3x3的滤波模板,先对前两行的数据进行寄存,因此引入一个RAM,当第三行数据到达时将其读出,这时会得到一个3x1的矩阵,接下来连续寄存三次这个3x1的矩阵,获得所需要的3x3模板,然后通过Verilog实现中值滤波;

S3、帧差法及二值化:将摄像头输入的一帧图像数据当做当前帧,VDMA会通过乒乓操作来进行帧缓存,即向DDR3缓存模块的地址0写入当前的图像数据时,会同时在地址1读取前一帧缓存的图像数据,做帧差运算时的关键是需要将当前帧与前一帧的每个像素数据一一对齐,因此在等待当前帧有效时,VDMA从DDR3缓存模块读取前一帧数据,缓存进FIFO,同时因为FIFO的读写都需要一个时钟周期,需要对当前帧数据延迟两个时钟周期来对齐图像数据,此时的两帧数据在经过图像处理之后便可进行帧差运算,再对差分结果进行二值化分析,当差分结果绝对值大于所设定的阈值时,结果为1,显示为白色,反之则为黑色,ZYNQ对只有0和1的二值数据处理会非常简单,具有良好的实时性,二值分析完成后,统计所有值为

1的像素点,即为检测到的运动目标;

S4、目标显示:在得到二值分析的结果后,用方框框住运动目标所在区域,并将方框叠加到摄像头输出的原始RGB彩色图像数据上,完成实时的运动目标的检测。

2.根据权利要求1所述的一种基于ZYNQ加速的运动目标检测系统,其特征在于:所述图像采集模块包括SCCB控制模块、摄像头、第一数据转换模块,所述SCCB控制模块连接有摄像头,所述SCCB控制模块控制摄像头,对环境中的运动目标完成实时采集,所述摄像头连接有第一数据转换模块,所述第一数据转换模块分别连接有图像缓存模块和图像处理模块,所述第一数据转换模块将采集后的RGB565图像转换为AXI4_Stream数据流。

3.根据权利要求2所述的一种基于ZYNQ加速的运动目标检测系统,其特征在于:所述图像缓存模块包括DDR3缓存模块、AXI总线、VDMA0和VDMA1,所述DDR3缓存模块通过AXI总线分别与VDMA0和VDMA1连接,所述VDMA0连接有图像采集模块的第一数据转换模块、图像处理模块,所述VDMA1连接有图像显示模块,所述VDMA0和VDMA1用于将AX I4_Stream格式的数据流转换为Memory Map格式或将Memory Map格式的数据转换为AXI4_Stream数据流。

4.根据权利要求3所述的一种基于ZYNQ加速的运动目标检测系统,其特征在于:所述图像显示模块包括第二数据转换模块、显示模块、HDMI显示,所述第二数据转换模块通过显示模块连接有HDMI显示,所述第二数据转换模块连接有VDMA1,所述第二数据转换模块将AXIS数据流转换成HDMI视频协议显示所需要的包含其行场同步信号。

5.根据权利要求4所述的一种基于ZYNQ加速的运动目标检测系统,其特征在于:所述图像处理模块包括格式转换模块、图像滤波模块、帧差运算模块、二值化模块、目标显示模块,所述格式转换模块通过图像滤波模块连接有帧差运算模块,所述帧差运算模块通过二值化模块连接有目标显示模块。

6.根据权利要求2所述的一种基于ZYNQ加速的运动目标检测系统,其特征在于:所述摄像头采用OV5640摄像头。

7.根据权利要求1的一种基于ZYNQ加速的运动目标检测系统,其特征在于:所述S2中Verilog实现中值滤波模块的方法为:S2.1、首先,为了求出矩阵中每一行的max,med和min值,需要例化三次排序模块;

S2.2、其次,需要分别获得min_of_max,med_of_med和max_of_min值,为此需要再例化三次排序模块,将第一步中获得的每行3个max,med和min值输入排序模块中;

S2.3最后,再次例化一次排序模块,将第二步中输出的三个值作为输入,取其中值。

8.根据权利要求1的一种基于ZYNQ加速的运动目标检测系统,其特征在于:所述S4中将方框叠加到摄像头输出的原始RGB彩色图像数据上的为:通过对二值化后为1的像素点计算比较,获得运动目标区域的上下左右边界,而后在原始的彩色图像数据上,再计算获得每个像素点的坐标值,当坐标值在边界上时,将对应的像素点R信号赋值为255,即可获得红色的显示边框,而后输出到HMDI显示屏上,完成对运动目标的显示跟踪。