您所在的位置: 成果库 基于云环境下的块存储自适应备份系统

基于云环境下的块存储自适应备份系统

成果类型:: 发明专利

发布时间: 2023-09-27 12:37:42

科技成果产业化落地方案
方案提交机构:“科创中国”超级算力应用创新科技服务团| 李学智 | 2023-11-25 21:01:35

本发明涉及一种基于云环境下的块存储自适应备份系统,包括备份任务调度器和待备份块设备集合,其中,所述备份任务调度器用于控制所述系统的待备份块设备的备份任务的执行和自适应调整备份策略;所述待备份块设备集合包括多个待备份块设备,所述待备份块设备根据对应的全量备份周期执行全量备份操作,在相邻两个全量备份时间点之间根据对应的增量备份周期执行增量备份操作。

一种基于云环境下的块存储自适应备份系统,包括备份任务调度器和待备份块设备集合,其中,所述备份任务调度器用于控制所述系统的待备份块设备的备份任务的执行和自适应调整备份策略;所述待备份块设备集合包括多个待备份块设备,所述待备份块设备根据对应的全量备份周期执行全量备份操作,在相邻两个全量备份时间点之间根据对应的增量备份周期执行增量备份操作;所述备份任务调度器在控制所述系统的待备份块设备的备份任务的执行和自适应调整备份策略时,具体实现以下过程:步骤S1、获取每一备份任务周期中每一待备份块设备执行的全量备份时间或增量备份时间,基于预设的全量备份时间阈值、全量备份时间调整步长、增量备份时间阈值和增量备份时间调整步长调整待备份块的全量备份周期和增量备份周期;所述步骤S1中,包括:步骤S11、将当前备份任务周期中执行全量备份时间超过预设全量备份时间阈值的待备份块设备,或者执行增量备份时间超过预设增量备份时间阈值的待备份块设备确定为待调整块设备,将对应的全量备份周期或增量备份周期确定为待调整周期;步骤S12、以Tx1表示待调整周期的当前周期,Tx2表示待调整周期更新后的周期:Tx2=Tx1+[(t1‑t0)/ t0]*a;其中,t1为待调整块设备对应的当前备份任务周期中执行全量备份时间或执行增量备份时间,t0为当前备份任务周期中所有待备份块设备执行全量备份时间的均值或执行增量备份时间的均值,a为全量备份时间调整步长或增量备份时间调整步长;步骤S2、获取预设的时间窗口内的每一备份任务周期对应的所有待备份块的所执行的全量备份和增量备份时间的累计时间,基于预设的累计时间阈值、时间窗口内所有累计时间分布、每一备份任务周期中每一待备份块设备执行的全量备份时间或增量备份时间调整下一时间窗口中待备份块的全量备份时间点或增量备份时间点。

随着云计算技术的发展,云计算走进了各行各业。在一些云环境下,其具有资源变动不频繁,但数据的重要级别非常高的特点。因此,对于在云环境下的数据备份就变的尤为重要。但目前这些云环境下的数据备份,还主要要求云用户在业务层实现数据备份,这样的优点是备份的数量量小,备份比较灵活,但缺点是对云用户要求较高,很多云用户都不具备这种能力。从目前现状来看,云环境下的绝大部分应用都没有在业务层做数据的备份。因此,平台层的备份就变的非常重要。

目前,平台层的备份主要是针对用户云主机对应的块存储进行备份。块存储是指提供块设备存储的接口,通过向内核注册块设备信息,在Linux中通过lsblk可以得到当前主机上块设备信息列表。基于云环境下的块存储即模拟此类块存储的形式进行数据存储。在现有的技术中,大部分是对块存储进行简单的拷贝备份,但这种做法有很多的弊端。由于每次备份的都是整个块存储,这就导致备份的数据量比较大,当单个备份周期中需要备份的块存储比较多时,单个备份周期内的备份数据量就会变的非常庞大,这便存在至少以下几个缺点:一是对目标存储的容量会有很高的要求;二是会导致备份周期无法很小;三是会挤占业务的存储带宽和网络带宽,进而影响线上业务;四是这种备份方式在备份策略的调整上也不够灵活。由此可知,如何提供一种灵活可靠的云环境下的块存储自适应备份策略,减小备份数据量,提高备份任务分配的均衡性,成为亟待解决的技术问题。

本专利可解决以上问题。

本发明专利由国家超级计算天津中心核心团队研究开发完成,成员包括张志伟、徐斌、杨满堂、冯景华、韩道林、朱明祖。国家超级计算天津中心是2009年5月批准成立的首家国家级超级计算中心,部署有2010年11月世界超级计算机TOP500排名第一的“天河一号”超级计算机和“天河三号”原型机系统,构建有超算中心、云计算中心、电子政务中心、大数据和人工智能研发环境,是我国目前应用范围最广、研发能力最强的超级计算中心,为全国的科研院所、大学、重点企业提供了广泛的高性能计算、云计算、大数据、人工智能等高端信息技术服务。

本发明通过增量备份机制的引入,由于增量备份的数据量远远低于全量备份的数据量,大大削减了单备份周期内的备份数据量,提高了备份任务分配的均衡性和灵活性。

该成果拟通过技术开发、技术许可等方式进行转化。