利索能及
我要发布
收藏
专利号: 2022107172338
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视频图像的非接触式生命体征检测方法,其特征在于:具体包括如下步骤:步骤1:采用多核异构微处理器进行视频图像采集;

步骤2:像素格式变换;

步骤3:图像数据缓存;

步骤4:皮肤区域检测;判断是否检测到皮肤区域;

若:判断结果是检测到皮肤区域,则执行步骤5;

或判断结果是没有检测到皮肤区域,则执行步骤1;

步骤5:人脸区域粗检测;

步骤6:人脸区域精检测;判断是否检测到人脸区域;

若:判断结果是检测到人脸区域,则执行步骤7;

或判断结果是没有检测到人脸区域,则执行步骤1;

步骤7:获取PPG信号即光电容积脉搏描记信号;

步骤8:计算结果并显示;

在步骤3中,将可编程逻辑系统的片上存储资源分成两个缓存部分,分别命名为MEM1、MEM2,用于存放转换后的像素数据和检测算法运行过程中的中间结果;

MEM1是二维缓存,每个缓存有L行,标记为 其中r=1,2,……,L,代表行序号,缓存的2

每行包含K个存储单元,每个存储单元的位宽为24bit,用于存储一个RGB888格式的像素数2

据,L和K的选取满足L×K=W×H;

图像数据以分块的方式存储到缓存中,具体过程如下:

将输入图像划分为L个K×K的方块,依次标记为B1,1、B1,2、……、Bi,j、……、BW/K,H/K,其中i和j分别为图像块所在的行列序号;

将B1,1至B1,W/K存储到MEM1的 至 中,将B2,1至B2,W/K存储到MEM1的 至 中;

以此类推,直到将B H/K,1至B H/K,W/K存储到MEM1的 至 中;

MEM2是二维缓存,存储单元数量为W/K×H/K,标记为 其中,i=1,2,……,W/K,j=1,

2,……,H/K,代表存储单元序号,每个存储单元的位宽为1,这些存储单元用于存储算法运行过程的中间结果;

进行图像数据缓存后,MEM1缓存的每个行与原图像每个K×K的方块一一对应,MEM2缓存的每个单元与原图像每个K×K的方块一一对应;

通过人脸区域粗检测的模块实现步骤5中的人脸区域粗检测,人脸区域粗检测的模块,包括数据读取子模块、滑动求和子模块以及结果输出子模块;

数据读出子模块,包括W/K个存储器读取电路,每个读取电路在输入时钟信号的作用下读取地址和读取有效信号,时钟信号为占空比50%的方波、频率为fcp,读取地址为随时钟信号依次加一的、位宽为log2(H/K)的二进制信号,读取有效信号为1bit的低电平信号;由数据读取子模块并行读出的W/K个数据,送入滑动求和子模块;

滑动求和子模块,根据滑窗数量N,滑动求和子模块分为N个组同时进行,每组的工作原理相同,第一组的工作过程如下:对于第一组滑窗求和子模块,其对应的滑窗尺寸为w1×h1,第一组求和模块首先构建(W/K)‑w1+1个树形加法器组,每个加法器组在一个工作时钟周期内可以同时计算w1个行数据的和,每经过h1个工作时钟周期,一个加法器组完成一个滑窗面积内所有数值为1的存储单元数量求和,将(W/K)‑w1+1个加法器组的求和结果分别存储到(W/K)‑w1+1个寄存器中,记为 对应的滑窗位置存储到另一组寄存器中,记为 当求和模块完成下一个滑窗面积下所有数值为1的存储单元数量求和之后,将新的求和结果与上一个滑窗求和结果进行比较,用数值较大的结果更新 和 依此类推,经过H/K‑h1个工作时钟周期后,滑窗求和子模块完成MEM2中所有面积为w1×h1区域数值为1的存储单元个数统计,再通过可编程逻辑系统中设计的比较器得到(W/K)‑w1+1个结果寄存器 中的一个 以及其所对应的滑窗位置寄存器 完成一组滑窗求和计算;最后,将N组滑窗求和子模块得到的求和数值,送入结果输出子模块; 表示(W/K)‑w1+1个结果寄存器中的第i个结果寄存器; 表示(W/K)‑w1+1个滑窗位置寄存器中的第i个位置寄存器,其中i的取值范围是1~(W/K)‑w1+1;

结果输出子模块,通过多次判断进行最终的输出选择:判断第1组求和数值是否大于阈值β;若第1组求和数值大于阈值β,则将该组对应的滑窗位置和窗口大小作为结构输出,否则,继续判断下一组的求和数值,若下一组的求和数值大于阈值,则返回结果;如果所有组的求和结果均小于阈值,则返回最后一组求和结果对应的滑窗位置和窗口大小;

结果输出子模块,包括多级比较器、优先编码器和N选1数据选择器;

优先编码器接收所有比较器的输出结果,其编码规则如下:

如果第一个比较器输出为1,不论后面的比较器输出为何,均产生编码值“1”;如果第一个比较器输出为0,第二个比较器输出为1,无论后面的比较器输出为何,均产生编码值“2”;

依此类推,如果只有最后一个比较器输出为1,则产生编码值“N”;

N选1数据选择器以优先编码器的输出值作为选通信号,用于选择最终输出N组滑动求和子模块中哪一组的求和寄存器和滑窗位置寄存器。

2.根据权利要求1所述的基于视频图像的非接触式生命体征检测方法,其特征在于:在步骤2中,在步骤2中,使用可编程逻辑系统,通过公式(1)将每一帧视频的像素数据从16bit的RGB565数据格式变换为24bit的RGB888数据格式;

其中,PixRGB565表示格式的像素数据,每个像素16bit;PixR8、PixG8、PixB8分别表示变换为RGB888格式后的R、G、B三通道颜色数据,每个通道的颜色数据都为8bit,共计24bit。

3.根据权利要求1所述的基于视频图像的非接触式生命体征检测方法,其特征在于:在步骤4中,具体包括如下步骤:步骤4.1:当读取完K行图像数据时,MEM1缓存的第1行至第W/K行同时存满,此时启动皮1

肤区域检测;检测过程以MEM1缓存的行为单位进行,先从MEM1缓存的第一行即M1中顺次读取已存储的RGB888格式的像素数据,采用公式(2)将每个图像像素从RGB色彩空间转换到YCrCb色彩空间;

步骤4.2:通过可编程逻辑系统,将公式(2)中浮点数乘法操作变换为整数乘法+移位操作,如公式(3)所示;

步骤4.3:每个像素转换后,使用可编程逻辑系统的片上触发器资源,构建两个8bit寄存器,将转换得到的Cr和Cb分量存储起来;

Y=(306*PixR8+601*PixG8+117*PixB8)>>10             (3);

步骤4.4:利用公式(4)对转换后的颜色进行阈值比较,处在阈值范围内的像素即为皮肤像素;通过可编程逻辑系统,构建四个数值比较电路,对Cr和Cb的数值进行判断;同时,通过可编程逻辑系统内的计数器,对满足阈值范围的像素点个数即皮肤像素进行累加,当检

2 2

测完 行中所有K 个像素时,如果计数器数累加值与像素总数K 的比值超过阈值α,则将MEM2缓存中对应的 单元置为1,否则将 置为0;依此类推,完成MEM1缓存中其余所有数据的处理,并将MEM2缓存中对应的单元赋值为1;处理后的MEM2缓存,将原图像划分为L个K×K的区域,其中数值为1的单元,标记了原图像中可能存在皮肤的区域块,作为人脸区域检测的基础;

4.根据权利要求1所述的基于视频图像的非接触式生命体征检测方法,其特征在于:在步骤5中,具体包括如下步骤:步骤5.1:采用边长为A的正方形窗口对MEM2缓存所代表的W/K×H/K大小的矩形进行开运算,去除其中的包括微小桥接和孤立点在内的噪声,相当于滤除掉原图像中小范围的、与皮肤颜色相近的区域,留下面积较大的相邻区域,即为人脸候选区域;

步骤5.2:采用N个尺寸为w1×h1、w2×h2、……、wn×hn的矩形窗口,对MEM2所代表的W/K×H/K大小的矩形进行滑动求和操作,依次计算窗口滑动过程中所覆盖的矩形区域中存储值为1的单元数量,取其值超过阈值β且数值最大的窗口位置作为最终的粗检测人脸区域。

5.根据权利要求1所述的基于视频图像的非接触式生命体征检测方法,其特征在于:在步骤6中,具体包括如下步骤:步骤6.1:以粗检测所返回的窗口位置为检测区域,使用人脸检测方法进行人脸区域的精确检测;

步骤6.2:通过可编程控制系统,检测输出人脸区域左上、右上、左下、右下四个边界坐标;

步骤6.3:采用固定形状的模板,将包括人脸中眼睛、鼻子、嘴、下巴在内的位置去除,仅保留额头和脸颊部分,作为检测的有效区域。

6.根据权利要求1所述的基于视频图像的非接触式生命体征检测方法,其特征在于:在步骤7中,具体包括如下步骤:步骤7.1:根据精检测后得到的人脸额头与脸颊区域像素,计算其绿色通道的像素均值,按照视频帧的时间顺序排列,得到一个像素均值向量Gmean=[G1,G2,…,GT],其中T代表视频帧的数量;

步骤7.2:采用截止频率为fL~fH的带通滤波器对像素均值数据向量Gmean进行带通滤波,得到滤波后的绿色通道像素均值向量

7.根据权利要求1所述的基于视频图像的非接触式生命体征检测方法,其特征在于:在步骤8中,具体包括如下步骤:步骤8.1:选取滤波后的绿色通道像素均值向量 中连续p个元素,使其数量为2的整幂次倍;

步骤8.2:对这些像素进行快速傅里叶变换并得到相应的频谱分布,查找频谱中最大幅值分量的序号Imax,根据公式(5)计算出心率HR;

其中,fs代表傅里叶变换的采样频率,即视频的帧率。