需求发布 成果发布 科创案例库 揭榜挂帅
技术路演 会议展览 科创联合体 项目申报
前沿动态 科技政策 院士开讲 青托工程
科技服务团 学术资源
试点城市(园区) 双创活动周
协作站点 学会服务
问题库 项目库 开源库
English
您所在的位置: 成果库 一种大规模流式集合数据的分布式处理方法

一种大规模流式集合数据的分布式处理方法

发布时间: 2021-11-17

来源: 科技服务团

基本信息

合作方式： 技术许可
成果类型： 发明专利
行业领域：
新一代信息技术产业,信息传输、软件和信息技术服务业
成果介绍

本发明涉及一种大规模流式集合数据的分布式处理方法，属于计算机数据处理技术领域。首先基于分布式消息系统记录流式集合数据的完备状态，如果流式集合数据完备则消息系统生成对应的消息，分布式计算系统从分布式消息系统中提取流式集合数据的状态消息，将获取的流式集合数据存储到分布式存储系统，根据具体的处理算法和业务逻辑进行分布式处理和计算，并将处理结果存储到分布式存储系统中，完成对流式集合数据的处理。本发明方法可以有效的控制流式集合数据的处理流程，并利用集合数据的批量式计算提高系统的资源利用率。本方法可以快速、有效地处理目前日益增长的流式集合数据，十分适用于工业物联网、气象信息网等典型的大数据应用场景。

成果亮点
团队介绍
成果资料