科创中国

高端装备制造产业

随着科技的飞速发展，家用领域的服务机器人在大范围普及，人们已经不再满足于仅通过机械地给机器人发出指令来获取所需服务。如何使机器人具备人类智能，通过感知学习完成不同任务，是提高机器人服务质量的关键。在机器人任务学习中，机器人视觉感知作为机器人获取和感知外界信息的重要手段，是提高机器人智能化水平的关键技术之⼀，而如何从存在大量冗余、干扰和噪声的视觉内容中快速获取有价值的信息，直接影响了机器人学习的能力和效率。视频摘要技术的目的是从多种信息中提取关键内容，有助于提高信息提取的高效性和灵活性。因此，通过视频摘要提取重要信息并实现机器人任务学习的方法，能够赋予机器人对不同任务具有更加灵活和自主的信息提取能力。

本技术聚焦基于自然语言输入的视频关键信息提取，利用不同用户的查询语句作为输入，来对采集的视频提取与查询语句相关的关键视频信息片段，实现基于自然语言的视频摘要，以此更加充分地理解视频中蕴含的丰富信息。在此基础上，进一步将用户的指代描述语句与提取到的关键视频帧数据作为输入，进行机器人的指代表达理解，定位出不同用户的感兴趣物体并进行抓取操作，实现指代表达理解任务的学习，赋予室内机器人更高的智能性和自主性。第三方测试结果显示，视频摘要的准确率不低于50%，且机器人系统能够实现指代表达理解任务的学习。

   机器人与智能装备产业创新服务综合体创建于2018年，位于余姚机器人智谷小镇，2020年升级为省级综合体，是余姚市创建的创新链、人才链、资金链、产业链专业化服务平台，现由浙江大学机器人研究院下的浙江湾区机器人技术有限公司负责建设。     综合体目前建有机器人与智能装备产业创新中心，重点打造人才服务基地和智能制造服务基地，高质量建设创新创业孵化、科技金融服务、知识产权服务、科技成果交易服务、政企对接服务等五大专业性平台。