您所在的位置: 成果库 企业级LLM大模型解决方案

企业级LLM大模型解决方案

发布时间: 2023-11-29

来源: 科技服务团

基本信息

合作方式: 股权融资
成果类型: 新技术
行业领域:
电子信息技术
成果介绍
公司业务及产品使用了先进的大语言模型技术,公司开发了算法层、模型层、调度层、算力层等多层次的优化技术,极大提高了模型的运行效率,降低了模型应用的资源消耗,可以更好地使企业开发自己的大模型,并完成私有化部署,将企业私有化使用模型的成本由千万级降至了百万级,部分模型降至十万级。依托企业大脑的强大能力,提升工作效率,将数智化系统更好转化为生产力。
成果亮点
1:模型并行化—单一模型训练效率提升80倍+:减少单个设备的显存占用,支持训练更大参数的模型。相比传统模型并行化技术,我们支持张量模型并行与流水线模型并行两种方式,并与数据并行结合,进一步拓展模型规模与加速过程,指数级提升训练效率。 2:数据并行化—突破物理限制,数据量是传统模式10倍+:白熊AI利用数据并行化技术显著提高的显存效率和计算效率,提高多机多卡性能,大幅减少显存占用。相比传统的数据并行方法,支持更大的 Batch Size。结合模型并行化技术,我们可以在单张 GPU 上训练参数量10倍于标准的大模型,或以 2-7 倍的速度训练billion级参数的模型,减少 5 倍通信量,30B模型需求从25卡降低至8张A100。白熊实现了近乎完美的显存扩展性和吞吐量扩展效率。 3:模型轻量化—小型机玩转大模型不再是梦想,资源占用低至1/8:为了让深度学习模型能够在低性能设备或硬件上高效地运行,提高用户体验和节省资源。白熊模型轻量化技术通过结构优化、量化、剪枝、蒸馏等技术,在模型整体性能降低3%以内的情况下可将模型参数量、计算量、存储空间等资源减少87%。
团队介绍
创始团队主要来自国内外顶尖NLP实验室,整体硕博率超90%。团队致力于使用领先的AIGC技术赋能客户,在AI大潮中抓住机遇,拓展价值。 崔钊玮 创始人 业务架构师,哈尔滨工业大学 工商管理 学士,连续创业者,大学期间曾进行创业,后任某科技创业公司产品与数字化部门负责人,数字化产品专家,主导过多项AI项目的设计与开发。 肖瑞宇 算法科学家,哈尔滨工业大学 英才学院 人工智能 博士,拥有大模型开发全流程经验,曾参与和主持多项国家重点研发计划与新一代人工智能重大科研项目,具有丰富的LLM大语言模型算法经验与工程化能力。 黄梓桐 算法工程师,哈尔滨工业大学 英才学院 人工智能 博士,曾任腾讯数据开发专家、旷视科技算法研究员,在ICLR、ICCV、ECCV等国际学术会议发表多篇论文,并获得多项国家级奖项。 付智 系统架构师 清华大学 能源应用工程 博士,连续创业者,系统架构专家。拥有多篇SCI一区论文、实用新型专利及软件著作权。在服务器架构、算力平台搭建方面有着深厚的实践经验与商务积累,目前负责公司算力统筹及算力平台构建。
成果资料
产业化落地方案
点击查看