您所在的位置: 成果库 一种基于贝叶斯优化的流数据处理系统配置参数调优方法

一种基于贝叶斯优化的流数据处理系统配置参数调优方法

发布时间: 2023-11-08

来源: 试点城市(园区)

基本信息

合作方式: 技术服务
成果类型: 发明专利
行业领域:
物理
成果介绍
本公开涉及一种基于贝叶斯优化的流数据处理系统配置参数调优方法,所述方法包括以下步骤:确定当前流处理系统的要改进的性能指标,根据该性能指标,确定要调优的一组配置参数;生成样本集,该样本集中的每一个样本,由一组配置参数值和其对应的性能指标值组成;对每一个样本,将其中的性能指标值作为输出,该性能指标值对应的那组配置参数值作为输入,使用随机森林算法建立性能模型;将所述性能指标作为贝叶斯优化算法的目标,对所述性能模型的参数进行搜索,将搜索到的一组配置参数值作为最优配置参数值,其对应的性能指标值为当前流数据处理系统的最优性能指标值。本公开方法可以对高维参数进行调优,具有很好的通用性。
成果亮点
一种基于贝叶斯优化的流数据处理系统配置参数调优方法,其特征在于,所述方法包括以下步骤: S100、确定当前流处理系统的要改进的性能指标,根据该性能指标,确定要调优的一组配置参数; S200、生成样本集,该样本集中的每一个样本,由一组配置参数值和其对应的性能指标值组成; S300、对每一个样本,将其中的性能指标值作为输出,该性能指标值对应的那组配置参数值作为输入,使用随机森林算法建立性能模型; S400、将所述性能指标作为贝叶斯优化算法的目标,对所述性能模型的参数进行搜索,将搜索到的一组配置参数值作为最优配置参数值,其对应的性能指标值为当前流数据处理系统的最优性能指标值。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料