您所在的位置: 成果库 IO性能数据的采集方法、装置、设备及存储介质

IO性能数据的采集方法、装置、设备及存储介质

成果类型:: 发明专利

发布时间: 2023-09-27 22:13:55

科技成果产业化落地方案
方案提交机构:“科创中国”超级算力应用创新科技服务团| 李学智 | 2023-11-25 12:48:48

本公开实施例涉及一种IO性能数据的采集方法、装置、设备及存储介质。其中,IO性能数据的采集方法包括:在目标设备运行目标IO请求对应的目标内核代码的过程中,基于目标设备中的预设执行引擎对目标内核代码的运行进度进行监听;当监听到目标内核代码运行至预设触发事件对应的内核代码时,采集当前系统层对应的IO性能数据,其中,当前系统层为目标设备的操作系统中当前对目标IO请求进行处理的系统层;确定用于标识当前系统层对应的IO性能数据的来源的追踪元数据。如此,可使IO性能数据的采集在内核空间中完成,无需像现有技术中在应用空间中进行插桩,因此,有利于提高可移植性。

一种IO性能数据的采集方法包括:在目标设备运行目标IO请求对应的目标内核代码的过程中,基于所述目标设备中的预设执行引擎对所述目标内核代码的运行进度进行监听;当监听到所述目标内核代码运行至预设触发事件对应的内核代码时,采集当前系统层对应的IO性能数据,其中,所述当前系统层为所述目标设备的操作系统中当前对所述目标IO请求进行处理的系统层;确定用于标识所述当前系统层对应的IO性能数据的来源的追踪元数据;所述确定用于标识所述当前系统层对应的IO性能数据的来源的追踪元数据,包括:若所述当前系统层属于所述目标设备的首个节点且为所述首个节点对应的多个预设触发事件中的首个预设触发事件时,则确定所述目标IO请求所属的任务的任务标识、确定所述目标IO请求的IO请求标识、将父节点标识设置为空、确定所述当前系统层所属的节点的当前处理节点标识、确定记录追踪元数据时的时间标识;若所述当前系统层属于所述目标设备的非首个节点且为所述非首个节点对应的多个预设触发事件中的首个预设触发事件时,则从父节点继承所述任务标识、以及所述IO请求标识,并更新所述父节点标识、更新所述当前处理节点标识、以及更新所述时间标识。

随着计算机技术的不断发展,超级计算机已在诸如天气预报、航天等科技领域大展身手。对于超级计算机而言,其应用程序会产生或依赖大量数据,这些数据以文件的形式存储在PB级别的共享的高性能文件系统中,由于无论是应用超级计算机的用户,还是高性能文件系统的开发人员,对访问这些文件的时超级计算机的IO性能的了解都非常有限,因此,研究超级计算机的IO性能具有重大意义。

目前,采集超级计算机的IO性能数据时,通常需要在超级计算机的用户空间中进行插桩。由于插桩与用户空间中应用程序的开发语言强相关,因此现有的IO性能数据采集工具可移植性低。该成果能解决以上问题。

本专利由天津市天河计算机技术有限公司核心团队研究开发完成,成员包括贺成、李宇奇、张健、杨满堂、朱明祖、徐斌、冯景华。天津市天河计算机技术有限公司为国家超级计算天津中心的全资子公司,聚焦产品级技术研发和应用转化,为算力平台建设、管理、应用和人才培养创新企业。拥有国家最高等级(A级)高标准数据中心和地下人防数据中心,负责2010年世界最快超级计算机“天河一号”,及目前世界领先的天河新一代超级计算机系统的运行管理工作,在天河新一代超级计算机,算力系统构建、统一运维管理、融合算力服务平台和多领域行业平台方面具备自主核心技术,重点围绕算力技术创新方面开展核心技术突破和产品研发工作,打造国内领先的算力技术创新和专业服务企业,推动数字产业化和产业数字化发展,为数字中国发展助力。

随着计算机技术的不断发展,超级计算机已在诸如天气预报、航天等科技领域大展身手。对于超级计算机而言,其应用程序会产生或依赖大量数据,这些数据以文件的形式存储在PB级别的共享的高性能文件系统中,由于无论是应用超级计算机的用户,还是高性能文件系统的开发人员,对访问这些文件的时超级计算机的IO性能的了解都非常有限,因此,研究超级计算机的IO性能具有重大意义。目前,采集超级计算机的IO性能数据时,通常需要在超级计算机的用户空间中进行插桩。由于插桩与用户空间中应用程序的开发语言强相关,因此现有的IO性能数据采集工具可移植性低。本专利可使IO性能数据的采集在内核空间中完成,无需像现有技术中在应用空间中进行插桩,因此,有利于提高可移植性。

该成果拟通过技术开发等方式进行成果转化。