科创中国
基于Deepseek R1蒸馏的“希言”垂域大模型
发布时间: 2025-02-19
基本信息
合作方式：
技术咨询
成果类型：
软件著作权
行业领域：
政务服务
成果介绍
基于Deepseek R1蒸馏的“希言”垂域大模型，是基于深度神经网络蒸馏技术研发的垂直领域专用人工智能模型，核心创新点在于采用Deepseek R1动态知识蒸馏框架，将通用大模型的能力高效迁移至轻量化垂域模型。“希言”垂域大模型成果面向政务服务、公共服务等重点领域，通过领域知识增强、任务自适应压缩和推理优化技术，解决了传统大模型参数量大、部署成本高、领域适应性弱等问题。
“希言”大模型目前已经在政务服务领域实现多轮精准问答和业务自动化，市民可使用自然语言快速办理业务。在智慧教育领域整合学校系统和数据，通过自然语言交互，设置多角色助手，师生可轻松获取信息，快速解决问题，将更多精力投入到教学和学习中，提升教育服务质量和效率。在住建领域开发了住房公积金智能在线客服，提供业务事项咨询，包括办理条件、材料等信息，与人工客服配合使用大大提升工作效率。在民生服务领域打造数智化就业服务驿站，引入智能机器人到民生服务中心，提供7*24小时就业咨询服务、职业指导等，促进就业服务精准化、普惠性和可及性，增强群众对公共就业服务的满意度。
成果亮点
基于Deepseek R1蒸馏的“希言”垂域大模型，在技术实现上基于Deepseek R1的多层注意力对齐机制，实现通用大模型与垂域小模型的知识迁移；其次通过领域语料增量训练与对抗蒸馏技术，强化模型对专业术语、长尾场景的理解能力。
1、推理与生成精准度跃升：面对复杂业务咨询，它能迅速梳理逻辑，给出准确详尽答复；处理政务文本生成任务时，内容严谨规范，贴合实际工作要求。
2、模型体积与部署算力优化：在DeepSeek和“希言”的基础上，通过蒸馏与量化技术双管齐下，“希言”大模型体积缩小至 50G，但推理能力损失微乎其微。这大幅降低了部署算力的需求，以往因算力限制难以落地的基层政务场景，如今 “希言” 也能顺畅部署，有力推动政务服务智能化在基层的广泛覆盖。在应用层面，DeepSeek为通用大模型，“希言”为垂域大模型，这种组合将是下一步快速将人工智能应用到各行各业的最优路径。
团队介绍
宁夏希望信息产业有限公司（简称“希望公司”），自1992年成立以来，现有目前员工268名，平均年龄27.5岁，其中，大学本科及以上研发技术人员占80%，中高级项目经理50人。希望公司是一家国家高新技术企业，已研发百余件应用软件，并获得了340余项知识产权、8项自治区科技成果登记及10项专利。公司主要从事应用软件研发、互联网应用、电子商务等业务，技术及应用创新聚焦于人工智能、区域数据共享、数据治理、区块链智能合约等领域。
面对大模型发展的浪潮，希望公司积极响应，紧跟时代步伐，自2021年就开始组建人工智能团队，全身心投入到“希言大模型”的应用创新与研发工作中。目前团队人数已经达到50人，成员来自哈工大、北京理工、厦门大学、西安交大等985名校。我们深知，只有不断投入、持续创新，才能在技术的浪潮中占据一席之地。
成果资料
下载app