科创中国

电子信息技术

本发明采用一种基于格式数据集的分布式数据存储与计算方法，极大地缩短了海量数据的统计计算的时间，易于计算规模的扩展，并且能够有效地应对数据的多样性和异常数据。本发明涉及计算机技术领域，本发明采用一种基于格式数据集的分布式数据存储与计算方法，包括：将计算统计的过滤条件转换为一个规则集；根据规则集，将原始无序的数据记录转换为格式数据集；将转换后的格式数据集进行存储；基于存储的格式数据集，执行统计计算。本发明可以极大地缩短海量数据的统计计算时间，并且易于计算规模的扩展，能够有效地应对数据的多样性和异常数据。

一种基于格式数据集的分布式数据存储与计算方法，用于快速执行统计计算，其特征在于，包括: 将计算统计的过滤条件转换为一个规则集； 根据所述规则集，将原始无序的数据记录转换为格式数据集； 将转换后的格式数据集进行存储； 基于存储的格式数据集，执行统计计算； 所述基于存储的格式数据集，执行统计计算，包括: 先执行点过滤过程:对于格式数据集中的每个格式数据对，检查其格式数据对中的属性值，过滤掉不符合点过滤条件的格式数据对，剩下的格式数据对组成第一中间结果数据集;对于第一中间结果数据集中的每个格式数据对，对数据集中的数据记录进行所需要的统计计算，然后依据点过滤条件过滤格式数据对，剩下的格式数据对组成第二中间结果数据集； 然后执行范围过滤:对于第二中间结果数据集中的每个格式数据，使用二分查找算法，找到数据集中的一组满足范围过滤条件的数据记录，组成第三中间结果数据集;第三中间结果数据集中的所有格式数据集就是满足要求的点过滤条件和范围过滤条件的数据记录；对第三中间结果数据集中的每个格式数据集中的数据记录执行指定的计算操作.

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

点击查看