利索能及
我要发布
收藏
专利号: 2018114594234
申请人: 深圳市商汤科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于神经网络的注意力特征获取方法,其特征在于,包括:获取输入数据,所述输入数据为图像数据;

识别所述图像数据中各特征点的特征向量,并根据各所述特征向量获得输入特征张量,所述特征点为所述图像数据中的像素点;

对输入特征张量进行第一卷积处理,获得多个基准注意力张量,所述基准注意力张量中的元素为与输入特征张量中各所述特征点对应的基准注意力;

对所述输入特征张量进行第二卷积处理,获得注意力系数张量,所述注意力系数张量中的元素为与所述输入特征张量内各所述特征点对应的基准注意力系数,并且所述注意力系数张量的通道数与所述基准注意力张量的数量相同;

基于所述输入特征张量与各所述基准注意力张量,获得与各基准注意力张量对应的基准特征向量,所述基准特征向量由所述输入特征张量和所述基准注意力张量中对应元素的乘积之和构成;

利用所述注意力系数张量与各所述基准特征向量,得到各所述特征点的注意力特征,所述注意力特征用于表征输入数据中各所述特征点的注意力。

2.根据权利要求1所述的方法,其特征在于,所述对输入特征张量进行第一卷积处理,获得多个基准注意力张量,包括:利用第一卷积核对所述输入特征张量进行卷积处理,获得各所述基准注意力张量,其中,

所述各基准注意力张量的长度与输入特征张量的长度相同,以及所述基准注意力张量的宽度与输入特征张量的宽度相同。

3.根据权利要求1或2所述的方法,其特征在于,所述对所述输入特征张量进行第二卷积处理,获得注意力系数张量,包括:利用第二卷积核对所述输入特征张量进行卷积处理,获得各所述注意力系数张量,其中,

所述注意力系数张量的长度与输入特征张量的长度相同,所述注意力系数张量的宽度与输入特征张量的宽度相同。

4.根据权利要求1‑2中任意一项所述的方法,其特征在于,所述基于所述输入特征张量与各所述基准注意力张量,获得与各基准注意力张量对应的基准特征向量,包括:将所述输入特征张量中各特征点对应的特征向量与基准注意力张量中相同特征点的基准注意力相乘,得到针对基准注意力张量中每个特征点的第一乘积;

将针对基准注意力张量中每个特征点的第一乘积加和,获得与基准注意力张量对应的基准特征向量。

5.根据权利要求1‑2中任意一项所述的方法,其特征在于,所述利用所述注意力系数张量与各所述基准特征向量,得到各特征点的注意力特征,包括:分别利用各所述基准特征向量与注意力系数张量相乘,得到针对每个基准特征向量的乘积张量;

将针对各基准特征向量的乘积张量中相同特征点的乘积值相加,得到该特征点的注意力特征。

6.根据权利要求1‑2中任意一项所述的方法,其特征在于,所述识别所述图像数据中各特征点的特征向量,并根据各所述特征向量获得输入特征张量,包括:识别所述输入数据中各特征点的特征向量,并根据各所述特征向量获得中间特征张量;

利用第三卷积核对所述中间特征张量执行第三卷积处理,得到所述输入特征张量,所述输入特征张量的维度与所述中间特征张量的维度相同。

7.根据权利要求1‑2中任意一项所述的方法,其特征在于,所述方法还包括:对由各特征点对应的注意力特征构成的注意力特征张量执行优化处理,所述优化处理包括:归一化处理、降维处理、升维处理中的至少一种。

8.根据权利要求1‑2中任意一项所述的方法,其特征在于,所述方法还包括:将所述输入特征张量和由各特征点对应的注意力特征构成的注意力特征张量输入至残差模块进行加和处理,得到优化的注意力张量,所述优化的注意力特征张量内的元素为针对各特征点的注意力特征张量的优化结果。

9.一种用于神经网络的注意力特征获取装置,其特征在于,包括:第一获取模块,其用于对输入特征张量进行第一卷积处理,获得多个基准注意力张量,所述基准注意力张量中的元素为与输入特征张量中各特征点对应的基准注意力;

第二获取模块,其用于对所述输入特征张量进行第二卷积处理,获得注意力系数张量,所述注意力系数张量中的元素为与所述输入特征张量内各所述特征点对应的基准注意力系数,并且所述注意力系数张量的通道数与所述基准注意力张量的数量相同;

第三获取模块,其用于基于所述输入特征张量与各所述基准注意力张量,获得与各基准注意力张量对应的基准特征向量,所述基准特征向量由所述输入特征张量和所述基准注意力张量中对应元素的乘积之和构成;

注意力模块,其用于利用所述注意力系数张量与各所述基准特征向量,得到各所述特征点的注意力特征,所述注意力特征用于表征输入数据中各所述特征点的注意力;

所述装置还包括:第四获取模块,其用于在执行第一获取模块之前,获取输入数据,并识别所述输入数据中各特征点的特征向量,并根据各所述特征向量获得输入特征张量,所述输入数据为图像数据,所述特征点为所述图像数据中的像素点。

10.根据权利要求9所述的装置,其特征在于,所述第一获取模块还用于利用第一卷积核对所述输入特征张量进行卷积处理,获得各所述基准注意力张量,其中,所述各基准注意力张量的长度与输入特征张量的长度相同,以及所述基准注意力张量的宽度与输入特征张量的宽度相同。

11.根据权利要求9或10所述的装置,其特征在于,所述第二获取模块还用于利用第二卷积核对所述输入特征张量进行卷积处理,获得各所述注意力系数张量,其中,所述注意力系数张量的长度与输入特征张量的长度相同,所述注意力系数张量的宽度与输入特征张量的宽度相同。

12.根据权利要求9‑10中任意一项所述的装置,其特征在于,所述第三获取模块还用于将所述输入特征张量中各特征点对应的特征向量与基准注意力张量中相同特征点的基准注意力相乘,得到针对基准注意力张量中每个特征点的第一乘积;并且将针对基准注意力张量中每个特征点的第一乘积加和,获得与基准注意力张量对应的基准特征向量。

13.根据权利要求9‑10中任意一项所述的装置,其特征在于,所述注意力模块还用于分别利用各所述基准特征向量与注意力系数张量相乘,得到针对每个基准特征向量的乘积张量;并且

将针对各基准特征向量的乘积张量中相同特征点的乘积值相加,得到该特征点的注意力特征。

14.根据权利要求9‑10中任意一项所述的装置,其特征在于,所述装置还包括:第五获取模块,其用于获取输入数据,识别所述输入数据中各特征点的特征向量,并根据各所述特征向量获得中间特征张量,以及利用第三卷积核对所述中间特征张量执行第三卷积处理,得到所述输入特征张量,所述输入特征张量的维度与所述中间特征张量的维度相同。

15.根据权利要求9‑10中任意一项所述的装置,其特征在于,所述装置还包括:优化模块,其用于对由各特征点对应的注意力特征构成的注意力特征张量执行优化处理,所述优化处理包括:归一化处理、降维处理、升维处理中的至少一种。

16.根据权利要求9‑10中任意一项所述的装置,其特征在于,所述装置还包括:残差模块,其用于将所述输入特征张量和由各特征点对应的注意力特征构成的注意力特征张量输入至残差模块进行加和处理,得到优化的注意力张量,所述优化的注意力特征张量内的元素为针对各特征点的注意力特征张量的优化结果。

17.一种用于神经网络的注意力特征获取装置,其特征在于,包括:处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:执行权利要求1至8中任意一项所述的方法。

18.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。