您所在的位置: 成果库 应用于大模型推理的算网一体的AI超算服务器

应用于大模型推理的算网一体的AI超算服务器

成果类型:: 发明专利,软件著作权

发布时间: 2023-11-10 14:33:39

科技成果产业化落地方案
方案提交机构:成果发布人| 张伟强 | 2023-11-10 14:33:39

本项目提供的产品形态是超算服务器和集群系统。该项目主要采用算网一体的架构采用无损以太网技术把多个计算节点(产品方案采用高通SOC芯片,也可替换高性能的国产芯片)组建集群设计制造小超算服务器,同时多个超算服务器也可以通过算网一体的并行计算方案组建大型超算系统。该项目主要研究如何通过算网一体架构 (ICC, Integrated Computing and Communication)实现计算和网络通讯的协同,以及计算和网络资源的统一、灵活和动态的调度,结合对SoC计算单元算力的效率提升,提高整个AI并行计算系统的计算效率。这其中应用到了包括嵌入式AI、无损以太网、 RoCE(Rdma over Converged Ethernet )、CoCE(Collective over Converged Ethernet融合以太网集合通信)、并行计算、算网资源协同调度等技术。

该项目产品和系统主要服务于AI高性能计算领域,包括大模型推理(AIGC应用等、人机交互)场景、大密度低时延边缘计算场景。

该项目产品与同类主流竞品相比可以显著降低采购和运营成本、提高能效比和计算资源利用率、能够平滑扩容;经过对比测算分析:GPU资源利用率从50%提升到75%以上,同等算力采购成本降低50%,运行能耗降低80%。

1、激扬,CE0,项目牵头人,牵头公司全面工作,包括融资等外部资源获取、团队组建、日常管理和公司运营。曾在华为历任华为国内分公司总经理、大客户业务部总经理、海外地区部分公司CFO,离职后在人工智能领域有过成功的创业经验;2、李斌,CTO,首席AI科学家和架构师/首席解决方案,负责产品规划和并行计算系统的研发以及面向市场的解决方案开发;3、严海波,研发VP,负责软硬件产品开发;4、任师臣,CMO,负责产品销售管理和市场拓展工作。

超动力小超算是全新一代的AI服务器,采用颠覆性的算网一体架构,专为大模型推理而设计。一台耗电不到300瓦的服务器即可轻松运行1万亿参数规模的大模型,不仅充分释放人工智能的无限潜能而且在相等的工作量下耗能更少,为企业减少成本。

融资目标1000万,主要用于产品研发和团队搭建;专利和软著作权的申请。