科创中国
一种基于映射归约的分布式数据处理方法
发布时间: 2024-01-11
来源: 科技服务团
基本信息
合作方式：
技术许可
成果类型：
发明专利
行业领域：
新一代信息技术产业,新兴软件和新型信息技术服务
成果介绍
本发明公开了一种基于映射归约的分布式数据处理方法，其步骤包括：1、对磁盘中的数据进行分片处理，2、在所设置的缓冲区内部，对第一步的处理结果再次进行数据处理，3、通过循环处理，对来自不同磁盘的数据进行规约。本发明通过对磁盘进行分片处理，对磁盘内部数据进行两次排序与合并，从而使得磁盘内部的数据通过映射规约能够有序地排列，高效查询，进而能够降低大规模数据处理时的工作量，提升运行效率。
成果亮点
本发明是为了解决上述现有技术存在的不足之处，提出一种低硬件要求且具有高处理效率的基于映射归约的分布式数据处理方法，以期能通过对磁盘进行分片处理，对磁盘内部数据进行两次排序与合并，从而使得磁盘内部的数据通过映射规约能够有序地排列，高效查询，进而能够降低大规模数据处理时的工作量，提升计算机硬件运行效率。
团队介绍
此技术是合肥工业大学李磊研发，合肥工业大学是中华人民共和国教育部直属全国重点大学，教育部、工信部和安徽省政府共建高校，教育部与国防科工局共建高校。培养高等学历工业人才，促进科技文化发展。 经济学类、教育学类、文学类、理学类、工学类学科高等专科、本科、研究生班和硕士研究生学历教育 理学类和工学类学科博士研究生学历教育 博士后培养 相关科学研究、技术开发、继续教育、专业培训、学术交流与咨询服务
成果资料
产业化落地方案
成果综合评价报告
评价单位：- (-) 评价时间：2024-01-17
微信公众号
下载app
Copyright © 2022 中国科学技术协会 版权所有 | 京ICP备16016202号-20
京公网安备 11010202008974号