利索能及
我要发布
收藏
专利号: 2017100918996
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于增强学习的FPGA互联资源配置生成方法,包括以下步骤:步骤1:建立基于增强学习的FPGA的互联资源模型

FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列,将芯片开关盒中每一个端点定义为一个状态s,采用SM坐标模型识别各SM中同一端点,得到FPGA系统状态集合:其中,N为状态总数;

将任一芯片开关盒中所有状态按其所连接金属互联线类型进行layer分层,各layer之间仅通过PIP(Point to Point)建立连接;基于layer参数以及后续状态是否离开SM,定义动作集合:其中,M为任一芯片开关盒中可选动作总数;a1,a2,a3,...,aM分别表示到达layer1、layer2、layer3…layerM层时所使用的动作;aother表示到达其他SM所使用的动作;

步骤2:随机初始化状态转移矩阵;

步骤3:初始化回报函数;

步骤4:将状态转移矩阵和回报函数联合,根据基于增强学习的FPGA的互联资源模型,采用增强学习训练方法训练出策略π;

步骤5:设置布线起始状态点s(0),根据策略π完成配置走线:其中,s(t)表示在t时刻的状态、属于状态合集 a(t)表示在t时刻所做的动作、属于动作集合 t=0,1,2,...,T-1、T表示配置走线总时刻数;

步骤6:更新状态转移矩阵,更新规则如下:

1)根据配置走线将其转换成T个经验知识和训练例,判定若等于1,则跳至2);否则,按照原始转移概率比重动态更新剩余状态转移概率:其中,i,j=1,2,3,...,N,t=0,1,2,...,T-1;

2)更新

步骤7:跳至步骤4,重复更新状态转移矩阵直到覆盖率收敛;

步骤8:汇总所有配置走线,转化为配置代码,最终输出互联资源配置。

2.按权利要求1所述基于增强学习的FPGA互联资源配置生成方法,其特征在于,步骤3中,所述回报函数初始化采用如下任一方法:

1)基于状态动作对的回报函数:回报函数R为状态s和动作a的函数、表示为R(s,a),对于除目标状态的任意当前某状态s,执行动作a得到回报:R(s,a)=-u、u为一正常数,若当前状态s为目标状态,R(s,a)=-v、v为一非负常数且u>v;

2)基于状态动作对的回报函数:回报函数R为状态s和动作a的函数、表示为R(s,a),令所有能够到达目标状态的状态动作对的回报函数R(s,a)=+u、u为一正常数,其余状态动作对的回报函数R(s,a)=-v、v为一非负常数;

3)基于状态的回报函数:回报函数R仅是状态s的函数,和动作a无关、表示为R(s),令目标状态的回报函数R(s)=+u、u为一正常数,即若到达该状态就收获+u的回报,其余状态的目标函数R(s)=-v、v为一非负常数。