科创中国

本发明公开了一种基于蓄水池采样和双经验池的机械臂智能控制系统,结合强化学习和深度神经网络来控制机械臂,包括如下模块:(1)环境信息采集模块;(2)仿真环境生成模块;(3)深度神经网络模块;(4)双经验池模块;(5)样本管理模块。本发明通过不断迭代优化深度神经网络模块,训练机械臂的控制模型,然后将训练好的控制模型放入到实体机械臂中,有效提高了机械臂的工作效率,使机械臂在环境不同但任务相似的应用场景中可以快速适应学习。经验池的使用提高了样本利用率,通过重复使用样本进行训练减少机械臂的磨损,节约成本。同时蓄水池采样方法可以保留稀有样本,防止训练模型过拟合而使机械臂遗忘从稀有样本学习到的知识,提高泛化性。

本发明要解决的技术问题是提供一种基于蓄水池采样和双经验池的机械臂智能控制系统。为了解决上述技术问题，本发明提供了一种基于蓄水池采样和双经验池的机械臂智能控制系统，所述机械臂智能控制系统包括：环境信息采集模块：通过机械臂所带相机采集当前环境图像信息，用于确定机械臂的状态集合动作集合及相应的奖赏集合奖赏信息表示为机械臂的训练过程中各个动作相应的奖赏值；仿真环境生成模块：搭建虚拟环境，根据所述环境信息采集模块中获取的状态信息和动作信息搭建虚拟环境，通过仿真环境训练机械臂的控制模型，然后再将训练好的模型用于实体机械臂的控制中；

本发明属于人工智能和工业机器人领域，具体涉及到多种需要用到机械臂的应用场景中，利用深度策略性梯度策略模型的深度强化学习方法在具有各种任务的环境中进行机械臂自动控制策略的生成。

背景技术

目前，在许多应用场景中机械臂凭借其操作灵活性应用广泛，如工业制造、医学治疗、服务行业、军事、半导体制造以及太空探索等领域。机械臂的使用大大解放了人力，但是其在使用过程中还需根据当前应用场景的需求设计机械臂来实现对其的控制，每个机械臂的设计都针对特定的场景，具有较差的泛化性。在设计机械臂时，须根据机械手抓取重量、自由度数、工作范围、运动速度及机械手的整体布局和工作条件等各种因素综合考虑，增加了机械臂的控制难度，而且对于机械臂的每个动作完成度的精度要求也很高。随着人工智能的发展，急需一种可以实现完全自主控制的智能机械臂的控制方法，更大程度的减小设计难度。通过智能控制方法可以使机械臂具有很好的泛化性能，在各个场景中使用时可以像人一样很快的自主学会抓取和运输物体，像人一样灵活智能，仅需少量的移动即可学会如何实现目标，减少了机器磨损成本，大大提高应用范围和工作效率。

发明内容

本发明要解决的技术问题是提供一种基于蓄水池采样和双经验池的机械臂智能控制系统

发明人：张琳婧 章宗长苏州大学坐落于素有“人间天堂”之称的历史文化名城苏州，是国家“211工程”“2011计划”首批入列高校，是教育部与江苏省人民政府共建“双一流”建设高校、国家航天局共建高校，是江苏省属重点综合性大学。苏州大学前身是Soochow University（东吴大学，1900年创办），开现代高等教育之先河，融中西文化之菁华，是中国最早以现代大学学科体系举办的大学。在中国高等教育史上，东吴大学是最早开展研究生教育并授予硕士学位、最先开展法学（英美法）专业教育，也是第一家创办学报的大学。1952年中国大陆院系调整，由东吴大学之文理学院、苏南文化教育学院、江南大学之数理系合并组建苏南师范学院，同年更名为江苏师范学院。1982年，学校更复名苏州大学（Soochow University）。

本发明的有益效果：

通过训练出一个最优的控制模型将其应用到实体机械臂中，使机械臂在面对新的环境和任务时可以快速适应并完成任务，提高了机械臂的工作效率。在工业生产中，有许多简单繁琐或对精度要求高的简单任务中，可以使用机械臂来代替人力，不仅满足了严格的精度要求还大大解放了人力，通过仿真训练到实体控制，为工业生产提供了高效且简单的控制机制。本发明中蓄水池方法和双经验池的结合，既可以提高样本利用率，又可以保留稀有但有用的样本，节约成本，提高机械臂的泛化性。本发明不仅适用于工业生产，同时也可以用于其他类似任务的机器人控制中。

当前专利在中国不属于公知技术，未经权利人许可不得实施，希望将科技成果转让给研发实力雄厚的企业，由受让人对科技成果实施转化。交易的是科技成果中的知识产权，可以包括专利权、专利申请权、技术秘密等。科技成果转让后，转让方获得转让费，不再是科技成果的所有人；受让方向转让方支付转让费，并成为科技成果的新的所有人。