科创中国

本发明提供了一种hadoop集群的自动部署系统及方法，包括：命令控制器，用于根据用户需求生成作业描述信息并提交作业；主控器，用于接收并处理所述命令控制器所提交的作业描述信息；部署器，用于向所述主控器提供心跳信息，并接收主控器所分配的任务，进而部署相关任务；存储结构，用于存储用户提交的应用数据、应用的计算结果及日志；且通过所述部署器内的部署模块进一步设置有：环境配置器，资源分配器，参数配置器，数据同步器，启动器，数据下载器，监控器和清理器，使hadoop集群的自动部署和回收得以实现，并且能动态监测程序的运行。

一种hadoop集群的自动部署系统，其特征在于，包括：命令控制器，用于根据用户需求生成作业描述信息并提交作业；主控器，用于接收并处理所述命令控制器所提交的作业；部署器，用于向所述主控器提供心跳信息，并接收主控器所分配的任务，进而部署相关任务；存储结构，用于存储用户提交的应用数据、应用的计算结果及日志。

目前，hadoop集群采用手动配置，步骤繁琐，效率低下，而且容易出错。特别是在大规模数据中心环境下，无法进行系统动态扩容和收缩等弹性管理。所以，实现hadoop自动配置自动部署是急需解决的问题。当前可实现hadoop自动部署的典型系统有Mesos Jesos是一个分布式环境的资源管理平台，它使得Hadoop、MP1、Spark作业在统一资源管理环境下执行。Mesos通过Framework(框架)来对hadoop系统进行管理。Framework表示的是一种分布式计算框架。Hadoop使用者通过Job Client提交了作业之后，交由Job Tracker通过心跳信息与Task Tracker进行任务分配，在Job Tracker中会由TaskScheduIer分配task到具体的Task Tracker执行，在选择哪个TaskTracker去执行的过程中，Mesos不参与，完全由Hadoop自己的主节点-从节点的框架来做，只是在申请资源的过程中，会通过其中Mesos提供的分配资源模块进行资源的请求，Mesos资源分配模块，会根据当前分布式系统中资源的使用情况，适时地将作业下放到对应TaskTracker所在节点。与此同时，Mesos系统具有以下缺点:框架过于复杂，要想支持其它计算框架，不仅需要对于Mesos源码十分熟悉，而且还要对另外的计算框架非常精通，这明显增加了很大的人力成本;Mesos实现hadoop的相关接口通过SWIG封装成Java对象。总之，要对hadoop的源代码进行改动，增加了开发运维成本;Mesos对于资源的管理还不够成熟，从节点资源信息只有Mem大小和CPU的个数，管理力度过于粗糙；Mesos没有对程序有效地监控机制，不能实时地获得程序的运行状态。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

本发明通过设置:命令控制器，用于根据用户需求生成作业描述信息并提交作业；主控器，用于接收并处理所述命令控制器所提交的作业描述信息；部署器，用于向所述主控器提供心跳信息，并接收主控器所分配的任务，进而部署相关任务;存储结构，用于存储用户提交的应用数据、应用的计算结果及日志;进一步的，所述部署器内的部署模块设置有:环境配置器，资源分配器，参数配置器，数据同步器，启动器，数据下载器，监控器和清理器，能够使hadoop集群的自动部署和回收得以实现，并且能动态监测程序的运行;且该系统的框架结构简单，维护成本低。

技术合作

以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。