您所在的位置: 成果库 一种hadoop集群的自动部署系统及方法

一种hadoop集群的自动部署系统及方法

发布时间: 2023-07-11

来源: 科技服务团

基本信息

合作方式: 技术服务
成果类型: 发明专利
行业领域:
物理
成果介绍
本发明提供了一种hadoop集群的自动部署系统及方法,包括:命令控制器,用于根据用户需求生成作业描述信息并提交作业;主控器,用于接收并处理所述命令控制器所提交的作业描述信息;部署器,用于向所述主控器提供心跳信息,并接收主控器所分配的任务,进而部署相关任务;存储结构,用于存储用户提交的应用数据、应用的计算结果及日志;且通过所述部署器内的部署模块进一步设置有:环境配置器,资源分配器,参数配置器,数据同步器,启动器,数据下载器,监控器和清理器,使hadoop集群的自动部署和回收得以实现,并且能动态监测程序的运行。
成果亮点
一种hadoop集群的自动部署系统,其特征在于,包括:命令控制器,用于根据用户需求生成作业描述信息并提交作业;主控器,用于接收并处理所述命令控制器所提交的作业;部署器,用于向所述主控器提供心跳信息,并接收主控器所分配的任务,进而部署相关任务;存储结构,用于存储用户提交的应用数据、应用的计算结果及日志。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案
点击查看