科创中国

行业领域

电子信息技术

需求背景

Hadoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储Aadoop实现了一个分布式文件系统(Hadoop Distributed FileSystem)，简称HDFSc3HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。

目前，hadoop集群采用手动配置，步骤繁琐，效率低下，而且容易出错。特别是在大规模数据中心环境下，无法进行系统动态扩容和收缩等弹性管理。所以，实现hadoop自动配置自动部署是急需解决的问题。当前可实现hadoop自动部署的典型系统有Mesos Jesos是一个分布式环境的资源管理平台，它使得Hadoop、MP1、Spark作业在统一资源管理环境下执行。Mesos通过Framework(框架)来对hadoop系统进行管理。Framework表示的是一种分布式计算框架。Hadoop使用者通过Job Client提交了作业之后，交由Job Tracker通过心跳信息与Task Tracker进行任务分配，在Job Tracker中会由TaskScheduIer分配task到具体的Task Tracker执行，在选择哪个TaskTracker去执行的过程中，Mesos不参与，完全由Hadoop自己的主节点-从节点的框架来做，只是在申请资源的过程中，会通过其中Mesos提供的分配资源模块进行资源的请求，Mesos资源分配模块，会根据当前分布式系统中资源的使用情况，适时地将作业下放到对应TaskTracker所在节点。与此同时，Mesos系统具有以下缺点;Mesos实现hadoop的相关接口通过SWIG封装成Java对象。

需解决的主要技术难题

此技术需解决:

1.框架过于复杂，要想支持其它计算框架，不仅需要对于Mesos源码十分熟悉，而且还要对另外的计算框架非常精通，这明显增加了很大的人力成本

2.要对hadoop的源代码进行改动，增加了开发运维成本

***对于资源的管理还不够成熟，从节点资源信息只有Mem大小和CPU的个数，管理力度过于粗糙

***没有对程序有效地监控机制，不能实时地获得程序的运行状态

期望实现的主要技术目标

a 该系统的框架结构简单，维护成本低

b 使hadoop集群的自动部署和回收得以实现，并且能动态监测程序的运行

需求解析

解析单位：天津市滨海新区 解析时间：2023-02-06

吴正斌

天津中科先进技术产业有限公司

总经理

综合评价

这个企业已经有一定的基础，建议与相关学会组织搭建平台，请学会以及研究所、大学和相关企业参与，可能会攻克难关，会对我们国家甚至世界所存在问题提出解决的措施并做出贡献，前途可期。

查看更多>

处理进度