本公开涉及一种数据传输方法、装置、电子设备和存储介质。数据传输方法应用于客户端,具体包括:读取数据传输任务;确定数据传输任务对应的待传输文件的当前传输数据块,其中,待传输文件包括至少一个传输数据块;根据数据传输任务的任务信息和预先设置的数据传输参数,对当前传输数据块进行预处理,预处理包括压缩和加密;根据数据报文头和预处理后的当前传输数据块生成请求报文,并将请求报文通过全双工通信协议传输至服务端,其中,数据报文头是基于任务信息和当前传输数据块的传输信息构建的。
随着计算机和数据传输技术的发展,高性能计算机(High Performance Computing,HPC)集群的数据传输逐渐成为应用和研究的重点。
传统HPC应用场景下的数据传输多为系统级用户数据传输模式,该传输模式下,用户客户端需要专用虚拟网络(Virtual Private Network,VPN)环境访问特定的HPC集群,要求网络管理员在VPN网络环境下开通具体的数据传输端口才能和HPC集群进行数据传输;其次,该传输模式没有统一的传输客户端,一般需要基于第三方传输工具,还需要用户自行安装和调试,使用体验比较差;最后,该传统模式不支持大文件数据传输,大文件数据传输时会受到远程系统环境和用户本地操作系统的资源限制。综上所述,传统HPC数据传输的传输效率比较低,传输速度也比较慢。本专利提供的方法,在高性能计算机应用场景下传输效率比较高,传输速度也比较快,进一步提高了用户体验。
本专利由天津市天河计算机技术有限公司核心团队设计开发完成,成员包括田杨、徐斌、冯景华、张健、杨满堂、朱明祖、刘美辰、孙福兴。天津市天河计算机技术有限公司(以下简称天河计算机公司),为国家超级计算天津中心的全资子公司,聚焦产品级技术研发和应用转化,为算力平台建设、管理、应用和人才培养创新企业。拥有国家最高等级(A级)高标准数据中心和地下人防数据中心,负责2010年世界最快超级计算机“天河一号”,及目前世界领先的天河新一代超级计算机系统的运行管理工作,在天河新一代超级计算机,算力系统构建、统一运维管理、融合算力服务平台和多领域行业平台方面具备自主核心技术,重点围绕算力技术创新方面开展核心技术突破和产品研发工作,打造国内领先的算力技术创新和专业服务企业,推动数字产业化和产业数字化发展,为数字中国发展助力。
评价单位:“科创中国”超级算力应用创新科技服务团 (国家超级计算天津中心)
评价时间:2023-11-25
综合评价
该技术具有较强的财务盈利能力,其财务净现值良好,投资回收期合理。综上所述,技术的经济和社会效益客观,技术的投产将改善优化当地产业结构,实现高质量发展的目标。
查看更多>