利索能及
我要发布
收藏
专利号: 2018111973120
申请人: 中山大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于单目摄像机的光照估计方法,其特征在于,包括以下步骤:第一步、单目摄像机采集RGB图像,作为深度估计的输入;

第二步、构建用于单目摄像机深度估计的卷积神经网络,对卷积神经网络进行训练;将RGB图像输入到训练好的卷积神经网络进行深度估计,得到深度预测值,输出深度预测图;

第三步、将深度预测值进行上采样,使得深度预测图的尺寸与RGB图像相匹配,将上采样后的深度预测值作为光照估计的输入;

第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下,其中的亮度通道信息作为光照估计的输入;利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计,将得到真实场景各方向光源信息的球谐函数系数。

2.根据权利要求1所述的光照估计方法,其特征在于,第二步所述卷积神经网络包括网络前端的卷积层和全连接层,深度估计的具体步骤如下:S21、网络前端的卷积层用于提取图像中不同种类的特征信息,全连接层用于包含整张图像的视野,并输出深度预测值;

S22、对于预测深度y和真实深度y*,定义尺度不变均方误差:其中:

通过对比输出像素点i、j的关系来表示误差,并令di=logyi-logy*为像素点i预测值和真实值的差别,有以下等价定义:损失函数:

S24、使用随机梯度下降法调整卷积神经网络参数使得损失函数达到最优。

3.根据权利要求2所述的光照估计方法,其特征在于,卷积神经网络中,每个卷积层的后面还增加池化层。

4.根据权利要求1所述的光照估计方法,其特征在于,第三步包括如下步骤:S31、沿着深度预测图的边缘产生半径为r的区域,标志区域内的像素点为不可作为深度参考的像素点,从而产生一个与深度预测图相同尺寸的模板图像M;

S32、对深度预测图进行上采样使得深度预测图与原始图像的尺寸一致;

S33、将深度估计处理过程中产生的及所输出的对数域的深度预测值,转换为一般数域下的深度值。

5.根据权利要求4所述的光照估计方法,其特征在于,第四步的光照估计,具体步骤如下:S41、将单目摄像机采集的RGB图像转换到CIELab颜色空间下,取得亮度通道信息;

S42、选用带阴影的漫反射光照模型,物体上x点的渲染结果L为:其中,Li(x,ωi)为ωi方向上的入射光,V为可见性函数,N为x点法线,V、N通过深度信息运算得出, 为x点简化的BRDF系数;

漫反射光照模型中的辐射传输项为:

RDS=V(ωi)max(Nx·ωi,0)

S43、把辐射传输项投影成球谐系数:

xj为球谐函数采样点,N为采样点数目,Y为球谐函数基底;

S44、利用球谐函数的正交性,将积分形式的渲染结果L转化为其子项的球谐函数系数的点乘形式,物体上x点的光照结果如下:其中,c为对应的球谐函数系数,k为球谐函数所用的频带数,I不包含BRDF项,I(x)通过亮度获得, 从深度信息中获得;

S45、从Z个采样点中求解以下超定方程组Ay=b,获得光源的球谐函数的系数 A是Z个采样点对应的球谐系数矩阵,每个采样点都有k2个辐射传输的球谐系数;其中,采样点亮度过低或者在模板图像M中被标记为不可做深度参考的采样点,则视为无效采样点,需要重新选择采样点,直到采样点数目达Z个。

6.根据权利要求1所述的光照估计方法,其特征在于,所述光照估计方法还包括以下步骤:第五步、利用上一步得到的光源信息,在虚拟物体上复现,渲染虚拟物体。

7.根据权利要求4所述的光照估计方法,其特征在于,所述光照估计方法还包括以下步骤:第五步、利用上一步得到的光源信息,在虚拟物体上复现,渲染虚拟物体;

渲染虚拟物体包括如下步骤:

S51、通过球谐基底函数与对应的系数相乘得到重现的光照:其中,漫反射光照模型中,除了辐射传输项之外,其余部分为光照项;c对应了上一步估计得到的光照项的球谐函数系数;

S52、最终的渲染结果: