1.一种基于CPU-GPU异构复合式并行计算框架的密码子偏差系数实现方法,其特征在于,所述方法包括如下步骤:步骤一、在刀片机上建立Hadoop集群,每台刀片机作为一个节点;并将主节点同时设置为主节点和从节点;
步骤二、在塔式服务器上搭建CUDA框架环境,并设置能够与Hadoop集群各个节点实现通信的网络配置;
步骤三、对提交的批量作业目录进行预处理,拟合输出包含各个待处理任务文件实际HDFS存储位置的任务清单到指定的目录下;
步骤四、通过MapReduce框架定义对任务清单的划分规则,在主节点启动Map任务,将任务清单中的各个任务获取分片实例,并发送到节点中进行处理;
步骤五、通过Reduce模块的输入获取到单个任务文件的HDFS路径,将其下载到本地节点后,整理为需要在GPU服务器上进行处理的命令请求;并将文件内容和命令请求发送到GPU服务器上后,远程控制命令执行;
步骤六、在监控到GPU服务器端CUDA-CDC程序计算完成后,将指定输出目录下的输出文件下载到本地节点,并上传至HDFS。
2.根据权利要求1所述的方法,其特征在于,所述步骤二中,所述塔式服务器安装的图形计算卡数量与导片服务器数量相同。
3.根据权利要求1所述的方法,其特征在于,所述步骤三中,对批量作业目录进行预处理具体包括:对用户提交至HDFS中的作业文档目录进行遍历,搜寻符合CUDA-CDC输入文件要求的fasta文件,按照文件名每遍历得到一个结果则将文件在HDFS的目录字符串与文件名进行拼接,得到该文件在HDFS存储的完整路径,并将表示完整路径的字符串作为一行记录写入HDFS中的任务清单中。
4.根据权利要求1所述的方法,其特征在于,所述步骤四中,所述划分规则具体为:采用按行划分规则,对所述任务清单中的N行内容创建一个记录,获得所有待处理的HDFS存储位置;所述N为自然数。
5.根据权利要求1所述的方法,其特征在于,所述步骤五中,整理为需要在GPU服务器上进行处理的命令请求,具体包括如下步骤:在远程执行命令过程中,定义远程命令执行主机的IP、用户名、密码及完整的命令字符串;对于fasta文件分析命令,通过绝对路径定义软件的名称、输入参数。
6.根据权利要求5所述的方法,其特征在于,所述步骤五还包括:通过定义相同的输出路径,统计输出文件的位置,以便于分级结果的回收;
通过字符串拼接,得到包含绝对路径描述的包含软件信息、输入信息、输出信息的命令行字符串。
7.根据权利要求1所述的方法,其特征在于,所述步骤一中,集群系统结构具体为:包含主节点、从节点以及计算服务节点三个子集群,不同于以往的集群系统,Map端与GPU端不建立通信;
Reduce端与GPU端之间采用JSCH进行通信,将Map端与Reduce端以及GPU端的计算环境彻底分开,进行协同处理。