成果介绍
万亿级以上巨量参数模型是国际人工智能军备的核心战场,其对计算平台 算力的需求也达到前所未有的每秒千万亿次级。受限于摩尔定律放缓,通过单 一计算单元提升现有人工智能平台性能已经逼近极限,提出革命性的多元异构 创新架构、构建超大规模算力计算平台迫在眉睫。超大规模多元异构计算平台 的构建,面临底层计算单元算力不足、异构计算资源扩展互连受限、多元异构 资源调度难的三大挑战,如何解决多元异构计算资源“算不动、连不了,组织 不起来”的问题,将直接影响超大规模计算平台的算力,制约我国人工智能产 业的进一步发展。 该项目从底层加速器计算单元全栈加速、可扩展全互连的人工智能服务器 系统架构构建、大规模人工智能应用调度部署三方面展开研究,突破了面向大 规模人工智能应用的多元异构计算关键技术。
成果亮点
主要创新点如下: 1. 发明了加速器计算单元的全栈优化技术:首次构建了基于访存平衡与指 令控制的计算单元微结构,提出与硬件加速匹配的自适应模型混合量化技术, 构建了面向人工智能应用的全栈加速方案,研制并首发了多款支持 OpenCL、支 持 HBM2、支持 CXL 的创新加速器,相应产品通过了微软徽标认证,向 Intel 完 成了知识产权授权。 2. 首创了低延时全互连的多元异构池化架构:提出了 CPU 解耦的可扩展全 互连多元异构计算架构、动态多路径负载均衡通信方法、软硬协同计算单元池 化技术,实现了大规模计算资源连接、低延时高质量高速链路通信、计算资源 规模化管理。节点内计算单元数量达到 32 个,计算资源池规模达 1100,计算单 元间数据传输时延小于 ***μs,优于微软 Catapult V2 平台(***μs),在 NVIDIA、DELL 等共同参与的 MLPerf 基准测试中,浪潮共获得 20 项冠军。
团队介绍
“大规模多元异构计算平台关键技术及产业化”项目主要完成人:李仁刚、姚海鹏、王彦伟、阐宏伟、赵雅倩、李茹杨、刘涛、李志、刘铁军、李拓、朱克峰、李雪雷、郭振华、董刚、孔祥涛。其中“李仁刚、王彦伟、阐宏伟、赵雅倩、李茹杨、刘涛、刘铁 军、李拓、朱克峰、李雪雷、董刚”为完成单位“浪潮(北京)电子信息产业有限公司”同一单位同事关系,“姚海鹏"隶属千完成单位“北京邮电大学“,“李志”隶属于完成单位“北京百度网讯科技有限公司“,郭振华、孔祥涛为完成单位“苏州浪潮智能科技有限公司”
成果资料
产业化落地方案