模型小型化技术研究

发布时间: 2023-10-02

来源: 科技服务团

截止日期:2023-11-30

价格双方协商

地区：上海市市辖区浦东新区

需求方：百度***公司

行业领域

电子信息技术

需求背景

研究基于 LLM 大模型的信息冗余性的理论分析方法，以及包括稀疏化、低精度量化、蒸馏技术在内的模型压缩技术，保持模型精度的同时使模型体积更小、计算更快。

需解决的主要技术难题

研究一种理论分析方法，在特定数据和任务上，分析模型中每种结构的信息冗余性，用于指导模型压缩。针对生成式大语言模型，研究低成本的模型小型化技术，无需对模型进行重训练，即可达到无损压缩目的。

期望实现的主要技术目标

基于飞桨在 2 个及以上开源 LLM 大模型上验证理论方法或技术的有效性，并支持在现有推理库上做部署加速。

需求解析

解析单位：“科创中国”工业互联网产业科技服务团（中国计算机学会） 解析时间：2023-10-08

刘晶

河北工业大学

主任

综合评价

需求描述清晰，模型小型化技术研究可以提升模型推理速度、降低所需存储资源、减轻模型所需能耗，具有重要的研究意义，同时在端侧设备场景和大模型落地应用场景中，都具有广泛的应用方向。技术研发阶段不需要跨行业专家参与。

处理进度

服务方

科创中国