您所在的位置: 成果库 一种用于计算集群的数据拷贝装置

一种用于计算集群的数据拷贝装置

成果类型:: 发明专利

发布时间: 2023-09-27 11:16:33

科技成果产业化落地方案
方案提交机构:“科创中国”超级算力应用创新科技服务团| 李学智 | 2023-11-26 09:42:31

本发明涉及一种用于计算集群的数据拷贝装置,包括:数据拷贝服务器,用于在接收到用户提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和装置控制器;且自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝;所述装置控制器,用于接收、核验所述管理人员输入的第一类型任务属性数据,并根据核验结果控制所述N个第二储存单元的打开;所述N个第二储存单元,用于放置可连接至所述数据拷贝服务器的移动存储设备。

一种用于计算集群的数据拷贝装置,包括:第一储存单元、N个第二储存单元S1,S2,…,SN,还包括装置控制器、放置于第一储存单元中的数据拷贝服务器;其中,所述数据拷贝服务器,与所述装置控制器连接,且通过所述计算集群的核心交换机与Web服务器连接;进一步,所述数据拷贝服务器,用于在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和所述装置控制器;自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝;所述装置控制器,用于根据从所述数据拷贝服务器接收的第一类型任务属性数据,核验所述管理人员输入至该装置控制器的第一类型任务属性数据,并根据核验结果控制所述第二储存单元S1,S2,…,SN的打开;所述N个第二储存单元S1,S2,…,SN,用于放置可连接至所述数据拷贝服务器的移动存储设备,N≥1;所述第一类型任务属性数据至少包括:第一拷贝任务编码、第一开柜码、M个移动存储设备号D1,D2,…,DM,1≤M≤N,所述第一拷贝任务编码为用于唯一确定所述数据拷贝任务的标识信息,所述第一开柜码用于验证是否可以打开所述N个第二储存单元S1,S2,…,SN中的一个或多个。

超级计算机,作为一个计算集群,由于其高效、安全的服务,已得到了广泛应用,这使得其能够服务的用户很多。数据拷贝是用户使用超级计算机的一个基本需求,现有技术中,小容量数据拷贝可以远程通过ftp或sftp上传、下载,链路带宽受运营商限制,基本满足GB级的数据拷贝。当超级计算机的用户需要拷贝TB级大容量数据时,通常可以将移动存储装置(例如移动硬盘)邮寄到超级计算机的数据中心,并由数据中心管理人员代为执行数据拷贝即可。然而,对于管理人员来说,由于超级计算机的机房规模大,进出机房流程多,办公区域和机房大多数情况不在同一楼层,甚至不在同一栋大楼,因此每次插盘、拔盘都要消耗很多不必要的时间,效率低;另外,数据服务节点自身的数据拷贝接口数量有限,无法满足当前用户日益增长的数据拷贝任务需求。本专利能够很好地解决以上问题。

本发明专利由国家超级计算天津中心核心团队研究开发完成。国家超级计算天津中心(以下简称天津超算中心)是由科技部2009年批准成立的首家国家级超级计算中心,现部署有中国首台计算速度世界第一的“天河一号”超级计算机和天河新一代超级计算机系统。同时,天津超算中心获批组建了首个国地联合大数据工程实验室,入围首批国家“中国制造2025”工业云示范平台、工业大数据试点示范基地,成功揭榜工信部“新一代人工智能产业创新平台”,成为我国超级计算与云计算、大数据、人工智能创新与应用转化的重大载体,引领了中国“计算驱动创新”的新阶段。

通过设置一个和计算集群(例如超级计算机)以及Web服务器连接的独立的数据拷贝装置,可大大减少管理人员因为频繁进出机房消耗的时间,另一方面,通过集成多个独立的USB接口及其相应数量的第二独立储存单元,可以满足多个用户并行执行数据拷贝任务,且同时满足了不同用户之间数据拷贝的安全性,提高了数据拷贝的效率。

该成果拟通过技术开发、技术许可等方式进行成果转化。