您所在的位置: 成果库 一种分布式迭代计算系统的任务参数优化方法

一种分布式迭代计算系统的任务参数优化方法

发布时间: 2021-11-17

来源: 科技服务团

基本信息

合作方式: 技术许可
成果类型: 发明专利
行业领域:
新一代信息技术产业,信息传输、软件和信息技术服务业
成果介绍

本发明涉及一种分布式迭代计算系统中的任务参数优化方法,属于分布式数据处理技术领域。本方法首先采集分布式迭代计算系统中历史任务的运行数据,构建历史数据库;进行任务参数优化时,根据约束条件对历史数据库中显著不相关的运行数据进行一次过滤;然后对待优化任务对应的历史数据库中的运行数据与一次过滤后的运行数据进行有向无环图的相似度计算,并对相似度低于一定阈值的运行数据进行二次过滤;最后将两次过滤后的结果经过计算排序,并将排序后的运行数据所对应的任务参数作为任务参数优化结果。本发明能自动进行分布式迭代计算系统的任务参数优化,是一种即插即用型自适应调优方法,能够显著降低用户使用分布式迭代计算系统的门槛。

成果亮点
团队介绍
成果资料