科创中国

本公开涉及一种数据传输方法、装置、电子设备和存储介质。数据传输方法应用于客户端，具体包括：读取数据传输任务；确定数据传输任务对应的待传输文件的当前传输数据块，其中，待传输文件包括至少一个传输数据块；根据数据传输任务的任务信息和预先设置的数据传输参数，对当前传输数据块进行预处理，预处理包括压缩和加密；根据数据报文头和预处理后的当前传输数据块生成请求报文，并将请求报文通过全双工通信协议传输至服务端，其中，数据报文头是基于任务信息和当前传输数据块的传输信息构建的。

一种数据传输方法，应用于客户端，所述方法包括：读取数据传输任务；确定所述数据传输任务对应的待传输文件的当前传输数据块，其中，所述待传输文件包括至少一个传输数据块；根据所述数据传输任务的任务信息和预先设置的数据传输参数，对所述当前传输数据块进行预处理；根据数据报文头和预处理后的当前传输数据块生成请求报文，并将所述请求报文通过全双工通信协议传输至服务端，其中，所述数据报文头是基于所述任务信息和所述当前传输数据块的传输信息构建的；其中，所述确定所述数据传输任务对应的待传输文件的当前传输数据块，包括：若根据所述任务信息中所述待传输文件的文件类型确定对传输数据块进行压缩，则根据所述文件类型和预先构建的文件类型压缩阈值映射表确定当前压缩比；若所述当前压缩比小于预设压缩比阈值，则根据所述预设压缩比阈值、所述任务信息中数据报文头的长度和预先设置的传输效率值，确定所述数据传输任务对应的待传输文件的当前传输数据块的大小；在本地文件库中读取所述当前传输数据块，其中，所述本地文件库包括所述待传输文件。

随着计算机和数据传输技术的发展，高性能计算机(High Performance Computing，HPC)集群的数据传输逐渐成为应用和研究的重点。传统HPC应用场景下的数据传输多为系统级用户数据传输模式，该传输模式下，用户客户端需要专用虚拟网络（Virtual Private Network，VPN）环境访问特定的HPC集群，要求网络管理员在VPN网络环境下开通具体的数据传输端口才能和HPC集群进行数据传输；其次，该传输模式没有统一的传输客户端，一般需要基于第三方传输工具，还需要用户自行安装和调试，使用体验比较差；最后，该传统模式不支持大文件数据传输，大文件数据传输时会受到远程系统环境和用户本地操作系统的资源限制。综上所述，传统HPC数据传输的传输效率比较低，传输速度也比较慢。本成果能解决以上问题。

本专利由天津市天河计算机技术有限公司核心团队设计开发完成，成员包括田杨、徐斌、冯景华、张健、杨满堂、朱明祖、刘美辰、孙福兴。天津市天河计算机技术有限公司（以下简称天河计算机公司），为国家超级计算天津中心的全资子公司，聚焦产品级技术研发和应用转化，为算力平台建设、管理、应用和人才培养创新企业。拥有国家最高等级（A级）高标准数据中心和地下人防数据中心，负责2010年世界最快超级计算机“天河一号”，及目前世界领先的天河新一代超级计算机系统的运行管理工作，在天河新一代超级计算机，算力系统构建、统一运维管理、融合算力服务平台和多领域行业平台方面具备自主核心技术，重点围绕算力技术创新方面开展核心技术突破和产品研发工作，打造国内领先的算力技术创新和专业服务企业，推动数字产业化和产业数字化发展，为数字中国发展助力。

随着计算机和数据传输技术的发展，高性能计算机(High Performance Computing，HPC)集群的数据传输逐渐成为应用和研究的重点。传统HPC应用场景下的数据传输多为系统级用户数据传输模式，该传输模式下，用户客户端需要专用虚拟网络（Virtual Private Network，VPN）环境访问特定的HPC集群，要求网络管理员在VPN网络环境下开通具体的数据传输端口才能和HPC集群进行数据传输；其次，该传输模式没有统一的传输客户端，一般需要基于第三方传输工具，还需要用户自行安装和调试，使用体验比较差；最后，该传统模式不支持大文件数据传输，大文件数据传输时会受到远程系统环境和用户本地操作系统的资源限制。综上所述，传统HPC数据传输的传输效率比较低，传输速度也比较慢。本专利提供的方法，在高性能计算机应用场景下传输效率比较高，传输速度也比较快，进一步提高了用户体验。

该成果拟通过技术开发等方式进行成果转化。