科创中国

高端装备制造产业

随着科技的飞速发展，家用领域的服务机器人在大范围普及，人们已经不再满足于仅通过机械地给机器人发出指令来获取所需服务。如何使机器人具备人类智能，通过感知学习完成不同任务，是提高机器人服务质量的关键。在机器人任务学习中，机器人视觉感知作为机器人获取和感知外界信息的重要手段，是提高机器人智能化水平的关键技术之⼀，而如何从存在大量冗余、干扰和噪声的视觉内容中快速获取有价值的信息，直接影响了机器人学习的能力和效率。视频摘要技术的目的是从多种信息中提取关键内容，有助于提高信息提取的高效性和灵活性。因此，通过视频摘要提取重要信息并实现机器人任务学习的方法，能够赋予机器人对不同任务具有更加灵活和自主的信息提取能力。

本技术聚焦基于自然语言输入的视频关键信息提取，利用不同用户的查询语句作为输入，来对采集的视频提取与查询语句相关的关键视频信息片段，实现基于自然语言的视频摘要，以此更加充分地理解视频中蕴含的丰富信息。在此基础上，进一步将用户的指代描述语句与提取到的关键视频帧数据作为输入，进行机器人的指代表达理解，定位出不同用户的感兴趣物体并进行抓取操作，实现指代表达理解任务的学习，赋予室内机器人更高的智能性和自主性。第三方测试结果显示，视频摘要的准确率不低于50%，且机器人系统能够实现指代表达理解任务的学习。

浙江大学机器人研究院（以下简称“研究院）是为了贯彻落实浙江省委省政府关于推进工业转型升级的战略部署，在余姚市的大力推动下，于2017年由浙江大学和余姚市合作共建的新型研发机构。 研究院面向科技前沿、面向经济发展主战场，将机器人、智能装备研发及产业化作为主要突破方向；立足余姚、服务浙江、面向全国。以“合作、创新、智能、引领”为理念，以体制机制创新为抓手，以科技研发、成果转化和人才培育为核心，着力构建技术-人才-产业深度融合的创新创业生态；努力建成为国内一流的机器人领域政、产、学、研、用深度融通的新高地。