您所在的位置: 成果库 AI特化小型超级计算机算力平台

AI特化小型超级计算机算力平台

成果类型:: 发明专利

发布时间: 2023-11-29 17:28:32

科技成果产业化落地方案
方案提交机构:成果发布人| 王蓓瑶 | 2023-11-29 17:28:32

超动力小型超算是一种全新一代的AI服务器,采用颠覆性的算网一体架构,和高速以太网并行架构,专为大模型推理而设计。一台耗电不到500瓦的服务器即可轻松运行1万亿参数规模的大模型,如ChatGPT。充分释放人工智能的无限潜能。高达2496TOPS的算力,以及768G内存,成本仅为主流厂商33%,功耗仅为12%。从市场规模来看,据预测,超级计算机市场规模估计在2023年为120.9亿美元,预计到2028年将达到121.4亿美元,在预测期间(2023-2028年)以0.09%的复合年增长率增长。这表明超级计算机市场有着稳定的增长潜力。大型晶体管计算机向小型个人终端电脑的转变是一个技术和市场共同推动的过程。其中包括了集成电路技术的革新、个人电脑的推出、操作系统和软件的发展以及互联网的普及等因素共同促成了这一历史性的转变。而在马上到来的AI算力时代,小型超算可以视为如同晶体管大型计算机走向小型个人终端电脑的第一步。

算网一体控制器:将大模型映射到SoC集群实现计算+网络效率最大化。高效能低能耗:超动力小型超算的耗电量远低于同类产品,但其运行速度和处理能力却相当出色。这主要得益于其先进的硬件设计和优秀的能源管理策略。强大的处理能力:尽管体积小巧,但超动力小型超算的处理能力并未受到影响。它能轻松处理大量的数据和复杂的计算任务,满足各种高性能计算需求。广泛的应用领域:超动力小型超算不仅适用于科学研究领域,如气候模拟、量子力学、基因组学等,也可以广泛应用于大数据处理、人工智能等领域。嵌入式AI计算:包括但不限于提升CPU的主频、优化内存和存储的访问速度、改进能源管理策略,合理分配和使用SoC的资源,将单个SoC算力发挥到极致。CoCE高速以太集群通信网:通过低延迟、高吞吐量和可靠性的传输服务,不会因为网络带宽的限制或者其他原因而被丢弃或者延迟,在超动力构建的无损以太网中,自研机制如构建数据缓冲区管理被用来控制网络拥塞的发生和影响,保证数据的完整性和传输的高效率,达到了无损的效果,实现最高效的以太网集群通信让网络无损无阻塞。

ChatGPT 每日处理1300 万独立访问量,需要3 万+片GPU,初期投入高达8亿美元,价格昂贵;ChatGPT每处理一次用户请求的耗电量,相当于 100 瓦的灯泡亮 84 秒,耗电量大;GPT-4的训练使用超过1万张GPU并行,但即使经过优化,GPU的利用率仅有50%左右,执行效率低;计算节点众多,节点间通信需求巨大。传统网络难以满足高吞吐量、低延时、不丢包的需求,网络成为新瓶颈。算力成为AI发展的瓶颈,并行计算是正解。

激扬 CEO前华为分公司总经理,大客户业务部总经理,海外区域CFO。独角兽企业市场总裁,成功的AI创业公司CEO。李斌 CTO前华为数通产品线PMT核心成员,20+通信、分布式计算、AI领域专利,国内第一部嵌入式AI专著作者。严海波 研发总裁前华为研发产品PDT开发代表,丰富的研发团队管理经验,成功开发多个大型通信设备、机器人等。

超动力小超算是全新一代的AI服务器,采用颠覆性的算网一体架构,专为大模型推理而设计。一台耗电不到500瓦的服务器即可轻松运行1万亿参数规模的大模型,充分释放人工智能的无限潜能。并行计算对网络性能的要求达到了极致,现有的RoCE技术已无法满足要求,超动力CoCE(Collective RDMA over Converged Ethernet)应运而生。CoCE采用算网一体感知、动态组播路由、同步流量控制等技术,极大地提升了集群通信时的网络吞吐量,大幅提高并行计算加速比。

本轮融资需求3000万元,预计一年盈利,二年现金流转正,年均增长220%。