科创中国

本发明公开了一种基于YOLO GGCNN的机械臂检测抓取方法,属于智能机器人领域。所述方法利用YOLOv4深度学习网络对待抓取目标进行训练,得到训练好的模型。在机械臂抓取前,使用深度相机获取抓取平台上无抓取物体的空白深度图像。放置抓取物体后,利用训练好的YOLOv4模型从RGB图像识别出待抓取目标,将识别框作为感兴趣区域,将感兴趣区域对应像素的深度图像部分提取出来,替换掉空白图像的像素对应部分,以此获得一张排除其他干扰物体、只包含抓取目标的深度图像。将这张图像处理后输入GGCNN网络,再进行从图像坐标系到机械臂本体坐标系的转化,最终输出最优机械臂抓取方案,机械臂根据抓取方案依次抓取所要抓取的目标物体。

一般情况下，如果需要抓取的物品发生了变换或位姿变动，就需要重新进行编程。因此，为了提高机器臂抓取的灵活性和精准性，开始将视觉定位系统和压力反馈系统作为辅助工具，与机器人控制系统相结合，在各个场景都取得了较好的使用效果，成为了机器人行业发展的新趋势。在视觉传感器的帮助下，机器人可以对抓取物体进行定位，然后机械臂根据抓取方案到达目标物体的位置实现相应的抓取任务。

为了避免抓取场景中其他非抓取物体对抓取检测的影响，本发明提供了一种基于YOLO-GGCNN深度学习网络的机械臂检测抓取技术。首先使用YOLOv4深度学习网络对需要抓取的目标物体进行训练，得到模型。在机械臂抓取前，使用机械爪上的深度相机获取一张抓取平台上无抓取物体的空白深度图像。放置抓取物体后，开始抓取时YOLOv4深度学习网络通过深度相机拍摄的RGB图像识别出待抓取目标物体，将识别框作为感兴趣区域(ROI候选框)，将ROI候选框对应像素的深度图像部分提取出来，替换掉一开始获取的空白图像的像素对应部分，可以获得一张排除其他干扰物体、只包含抓取目标的深度图像。将这张图像进行裁剪处理后满足GGCNN的图片大小要求，将其输入GGCNN网络，再进行从图像坐标系到机械臂本体坐标系的转化，最终输出最优的机械臂抓取方案，机械臂根据抓取方案依次抓取所要抓取的目标物体。

徐本连 李震 赵康 鲁明丽 从金亮 吴迪 周理想

苏州科技大学(Suzhou University of Science and Technology)，简称苏科大，地处中国历史文化名城、素有“人间天堂”美誉的古城苏州，毗邻石湖水，坐拥上方山，校园环境优美，风景迤逦。是一所中央与地方共建、江苏省与苏州市共建、以江苏省管理为主的综合类普通高等院校。学校拥有十大学科门类，是一所工、理、文、管、艺等多学科协调发展、特色鲜明的综合类大学。

本发明有益效果是：

通过YOLOv4训练抓取目标模型，识别检测框作为感兴趣区域，排除了非抓取目标对GGCNN网络的抓取点生成干扰，解决了GGCNN对抓取目标的识别问题。进一步的，本申请利用在RGB彩色图像中得到的物体信息，采用对应图像替换的方法，解决了在深度图像中并不能分辨出抓取的目标和干扰物的问题；本申请方法利用GGCNN算法对抓取目标区域进行训练，得到图像的抓取点信息，再坐标转换为机械臂坐标下，自动快速的生成抓取方案，对比传统方法更快速灵活，提高了机械臂抓取的智能性和灵活性。

为促进科学技术产业化的发展，希望能够充分利用对方广泛的市场资源优势和科研平台能力，实现技术研发与市场营运的直接联盟。为使新技术尽快转化为生产力，希望实行技术合作开发联营生产和产值提成的方式紧密合作。希望合作方能够负责组建生产公司及工商、税务经营手续和必要的启动资金；在双方合作期间，我方对该产品不断创新和改进。

企业实施科技成果转移转化，采取以下方式并达到相应的目的：

一是开发新的产品或服务，以培育新的市场竞争力；

二是开发新的工艺，以提质、降本、降耗、增能、增效；

三是完善管理，优化流程，以强化对企业生产经营的控制力；

四是进入新的市场，以扩大市场规模；

五是培育新的能力，以取得新的优势；

六是完善经营管理的体制机制，以提高效益。

希望与企业、科学技术研究开发机构、高等学校和其他组织建立优势互补、分工明确、成果共享、风险共担的合作机制，按照市场机制联合组建研究开发平台、技术创新联盟、创新联合体等，协同推进研究开发与科技成果转化。