利索能及
我要发布
收藏
专利号: 2024104676657
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于RISC‑V架构的卷积神经网络加速器,其特征在于,该加速器包括指令解析模块、控制单元、数据缓存模块、卷积运算模块、后处理模块;

指令解析模块,接受RISC‑V处理器发送的自定义指令并进一步解析,将该指令转换为卷积加速器能够理解的控制信号;

控制单元,根据指令解析结果发出控制信号,协调数据缓存模块、卷积运算模块及后处理模块的执行;

数据缓存模块,对参与卷积运算过程的数据进行缓存;所述参与卷积运算过程的数据包括外部存储器中的数据和卷积运算过程的中间结果数据;所述外部存储器中的数据包括预处理图像数据、权重数据、查找表数据和NMS阈值数据,对预处理图像数据、权重数据、查找表数据和NMS阈值数据进行缓存以减少运算过程中的数据读取时间;所述卷积运算过程的中间结果数据为卷积计算、激活计算、池化计算产生的特征图数据;

卷积运算模块,根据解析得到的指令完成对特征图的卷积、激活、池化、全连接计算;

后处理模块,对全连接模块的输出结果进行处理,应用NMS算法筛选候选框;

所述卷积运算模块包括第一输入处理模块、脉动阵列、激活模块、池化模块、全连接模块;

所述第一输入处理模块,对输入的特征图数据进行重新排列,以适合脉动阵列进行流水线处理;

所述脉动阵列,将相同结构的脉动单元进行连接,卷积计算所需输入数据逐一通过脉动单元,以流水线形式实现卷积计算过程;

所述激活模块,对卷积操作结果进行非线性处理,从输入数据中提取更高维度的特征;

所述池化模块,对卷积操作结果实现降采样,保留关键特征;

所述全连接模块,将特征图中的全部信息按照权重进行映射,输出类别信息及候选框信息。

2.根据权利要求1所述的一种基于RISC‑V架构的卷积神经网络加速器,其特征在于,所述自定义指令为在custom‑0指令组下扩展的自定义数据指令、自定义卷积运算指令及自定义后处理指令;所述自定义数据指令包括CLOAD数据读取指令、CSTORE数据载入指令;所述自定义卷积运算指令包括CCONV调用脉动阵列指令、CRELU调用激活模块指令、CPOOL调用出池化模块指令、CFULLC调用全连接模块指令;所述自定义后处理指令包括CSORT调用排序模块指令、CIOU调用交并比计算模块指令、CCMP比较运算指令。

3.根据权利要求1所述的一种基于RISC‑V架构的卷积神经网络加速器,其特征在于,所述数据缓存模块包括特征图缓存模块、权重缓存模块、查找表缓存模块和阈值缓存模块;

所述特征图缓存模块,缓存两种类型数据,第一种为外部存储器中存储的预处理图像数据,第二种为卷积运算过程中某一层输出的特征图数据;

所述权重缓存模块,对卷积核权重数据进行缓存;

所述查找表缓存模块,对查找表数据进行缓存,通过查找表数据中的映射值简化激活函数的计算;

所述阈值缓存模块,对NMS计算过程中阈值数据进行缓存。

4.根据权利要求1所述的一种基于RISC‑V架构的卷积神经网络加速器,其特征在于,所述后处理模块包括第二输入处理模块、NMS模块和输出处理模块;

所述第二输入处理模块,对全连接模块计算结果进行解析,取出同一分类数据的候选框信息重新组合,并对各个候选框数据计算置信度;

所述NMS模块,通过硬件实现非极大值抑制算法,对多个候选框进行筛选;

所述输出处理模块,对NMS模块的结果重新处理,将候选框数据与分类数据按照卷积运算模块数据格式进行组合,确保格式一致。

5.根据权利要求4所述的一种基于RISC‑V架构的卷积神经网络加速器,其特征在于,所述NMS模块包括排序模块、交并比计算模块、交并比比较模块、阈值比较模块;

所述排序模块,对各个候选框数据按照置信度由大到小排列;

所述交并比计算模块,对单个候选框计算其本身与其余候选框的交并比值,若其余候选框的置信度大于该框,对单个候选框和其余候选框的交并比计算结果作零值处理;

所述交并比比较模块,对单个候选框与其余候选框的交并比值逐一比较,保留该候选框与其余候选框所有交并比值中的最大值,该操作对每个候选框均执行;

所述阈值比较模块,比较交并比最大值与阈值大小,删除超过阈值的候选框数据,保留未超过阈值的候选框数据。