IO数据分析方法、装置、设备、存储介质及系统
成果类型:: 发明专利
发布时间: 2023-11-12 15:05:03
本专利涉及一种IO数据分析方法、装置、设备及存储介质。响应于IO数据采集请求,基于内核空间中的捕获程序和用户空间中的拷贝程序,采集目标应用的IO数据;对IO数据进行序列化处理以及压缩处理,生成IO数据对应的压缩数据;将压缩数据上传至服务器,其中,服务器用于对压缩数据进行解压缩处理以及反序列化处理,得到IO数据,并且,服务器对IO数据进行分析,得到IO数据的分析结果,其中,IO数据的分析结果作为优化超级计算系统应用的参考数据。这样,能够实现在内核空间和用户空间采集应用的IO数据,降低了IO数据的粒度和层级,从而提高了IO数据的分析精度,最终提高了超级计算机系统应用的优化效果。
一种IO数据分析方法,其特征在于,应用于本地设备,所述方法包括: 响应于IO数据采集请求,基于内核空间中的捕获程序和用户空间中的拷贝程序,采集目标应用的IO数据; 对所述IO数据进行序列化处理以及压缩处理,生成所述IO数据对应的压缩数据; 将所述压缩数据上传至服务器,其中,所述服务器用于对所述压缩数据进行解压缩处理以及反序列化处理,得到所述IO数据,并且,所述服务器对所述IO数据进行分析,得到所述IO数据的分析结果,其中,所述IO数据的分析结果作为优化超级计算系统应用的参考数据; 所述基于内核空间中的捕获程序和用户空间中的拷贝程序,采集目标应用的IO数据,包括: 基于所述内核空间中的捕获程序,捕获所述目标应用的IO数据,并将所述IO数据保存至目标存储区域中,目标应用是指超级计算机系统中需要优化的应用程序,所述目标应用包括计算功能、存储功能、可视化功能、监控功能; 基于所述用户空间中的拷贝程序,将所述目标存储区域中的IO数据拷贝至所述用户空间。
随着计算机技术的不断发展,超级计算机已在诸如电力、天气预测以及航天等领域受到了广泛应用。在使用超级计算机时,往往要优化超级计算系统的应用,则需要开发者在应用调整之前与调整之后观察应用的行为,以便开发者能够确定调整方案以及评估调整方案对应用产生的影响,其中,影响应用性能的关键指标是IO数据。为了方便开发者确定调整方案以及评估方案对应用产生的影响,相关技术一般采用Darshan采集IO数据,然后对采集的IO数据进行分析。然而,Darshan使用插桩方式采集IO数据,使得其只能在用户空间进行IO数据采集,导致IO数据粒度和层级过高,降低了IO数据的分析精度,进而影响超级计算机系统应用的优化效果。本发明能解决以上问题。
天津市天河计算机技术有限公司为国家超级计算天津中心的全资子公司,聚焦产品级技术研发和应用转化,为算力平台建设、管理、应用和人才培养创新企业。拥有国家最高等级(A级)高标准数据中心和地下人防数据中心,负责2010年世界最快超级计算机“天河一号”,及目前世界领先的天河新一代超级计算机系统的运行管理工作,在天河新一代超级计算机,算力系统构建、统一运维管理、融合算力服务平台和多领域行业平台方面具备自主核心技术,重点围绕算力技术创新方面开展核心技术突破和产品研发工作,打造国内领先的算力技术创新和专业服务企业,推动数字产业化和产业数字化发展,为数字中国发展助力。
本发明提出的一种IO数据分析方法、设备、存储介质及系统,所述方法应用于本地设备,所述方法包括:响应于IO数据采集请求,基于内核空间中的捕获程序和用户空间中的拷贝程序,采集目标应用的IO数据;对IO数据进行序列化处理以及压缩处理,生成IO数据对应的压缩数据;将压缩数据上传至服务器,其中,服务器用于对压缩数据进行解压缩处理以及反序列化处理,得到IO数据,并且,服务器对IO数据进行分析,得到IO数据的分析结果,其中,IO数据的分析结果作为优化超级计算系统应用的参考数据。这样,能够实现在内核空间和用户空间采集应用的IO数据,降低了IO数据的粒度和层级,从而提高了IO数据的分析精度,最终提高了超级计算机系统应用的优化效果。
该成果可通过技术开发、技术许可、合作开发等方式进行成果转化。