您所在的位置: 成果库 企业级LLM大模型解决方案

企业级LLM大模型解决方案

成果类型:: 新技术

发布时间: 2023-11-29 17:56:29

科技成果产业化落地方案
方案提交机构:成果发布人| 王蓓瑶 | 2023-11-29 17:56:29

公司业务及产品使用了先进的大语言模型技术,公司开发了算法层、模型层、调度层、算力层等多层次的优化技术,极大提高了模型的运行效率,降低了模型应用的资源消耗,可以更好地使企业开发自己的大模型,并完成私有化部署,将企业私有化使用模型的成本由千万级降至了百万级,部分模型降至十万级。依托企业大脑的强大能力,提升工作效率,将数智化系统更好转化为生产力。

1:模型并行化—单一模型训练效率提升80倍+:减少单个设备的显存占用,支持训练更大参数的模型。相比传统模型并行化技术,我们支持张量模型并行与流水线模型并行两种方式,并与数据并行结合,进一步拓展模型规模与加速过程,指数级提升训练效率。2:数据并行化—突破物理限制,数据量是传统模式10倍+:白熊AI利用数据并行化技术显著提高的显存效率和计算效率,提高多机多卡性能,大幅减少显存占用。相比传统的数据并行方法,支持更大的 Batch Size。结合模型并行化技术,我们可以在单张 GPU 上训练参数量10倍于标准的大模型,或以 2-7 倍的速度训练billion级参数的模型,减少 5 倍通信量,30B模型需求从25卡降低至8张A100。白熊实现了近乎完美的显存扩展性和吞吐量扩展效率。3:模型轻量化—小型机玩转大模型不再是梦想,资源占用低至1/8:为了让深度学习模型能够在低性能设备或硬件上高效地运行,提高用户体验和节省资源。白熊模型轻量化技术通过结构优化、量化、剪枝、蒸馏等技术,在模型整体性能降低3%以内的情况下可将模型参数量、计算量、存储空间等资源减少87%。

在互联网、医疗、金融、教育、制造业等行业,生成式 AI将打破原有的业务形态,带来指数级的效率提升。大模型创新传统SaaS服务已经成为趋势,专用大模型可以更加个性化、准确与高效地解决用户的需求。人机协同方式快速转变,生成式AI机器人将会突破人机界限,成为所有人未来工作与生活的必备工具。LLM推动人工智能快速进化到AGI阶段,多模态助力大模型解决复杂问题,生成式AI带来更贴近人的交互方式,模型即服务(MaaS)生态呼之欲出,垂直领域应用是大模型的主战场。

创始团队主要来自国内外顶尖NLP实验室,整体硕博率超90%。团队致力于使用领先的AIGC技术赋能客户,在AI大潮中抓住机遇,拓展价值。崔钊玮 创始人 业务架构师,哈尔滨工业大学 工商管理 学士,连续创业者,大学期间曾进行创业,后任某科技创业公司产品与数字化部门负责人,数字化产品专家,主导过多项AI项目的设计与开发。肖瑞宇 算法科学家,哈尔滨工业大学 英才学院 人工智能 博士,拥有大模型开发全流程经验,曾参与和主持多项国家重点研发计划与新一代人工智能重大科研项目,具有丰富的LLM大语言模型算法经验与工程化能力。黄梓桐 算法工程师,哈尔滨工业大学 英才学院 人工智能 博士,曾任腾讯数据开发专家、旷视科技算法研究员,在ICLR、ICCV、ECCV等国际学术会议发表多篇论文,并获得多项国家级奖项。付智 系统架构师清华大学 能源应用工程 博士,连续创业者,系统架构专家。拥有多篇SCI一区论文、实用新型专利及软件著作权。在服务器架构、算力平台搭建方面有着深厚的实践经验与商务积累,目前负责公司算力统筹及算力平台构建。

白熊AI具有深厚的提示词工程经验,能够利用大模型的 zero-shot 和 few-shot 能力实现高质量的内容输出。我们在法律、教育等多场景,多任务中拥有丰富的工程经验,能够熟练利用 Langchain 等大模型工具为客户提供高阶低成本解决方案。白熊AI在SFT方面具有多语言、多任务、多模型训练经验,累计训练超百亿 token,经验帮助白熊更好地处理各种语言和任务,并快速适应新的数据和任务。通过先进的训练技术和算法,提高模型的准确性和泛化能力。白熊AI在RLHF方面具有丰富的经验和强大的能力。在 Reward model 的选型、训练上具有丰富的经验,拥有完整的PPO算法流程能力。此外,我们在没有人工标注的 RLHF 数据时,构造伪数据进行 reward model 训练,以节省成本。

融资金额:500万人民币。主要用于团队建设,LLM大模型的维护与研发,市场营销与推广等。