科创中国
分布式存储系统中多维数据的存储模式转换方法
发布时间: 2022-11-17
来源: 科技服务团
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
新一代信息技术产业,互联网与云计算、大数据服务
成果介绍
多维数据是指某些维度具有顺序关系的数据集合，以这种数据为基础的应用广泛存在。分布式计算系统是处理海量数据的有效工具，不同的大数据应用对数据的访问模式有不同的要求，多维数据存储在分布式存储系统中的不同存储模式会对大数据应用的效率产生巨大的影响。而数据量很大的时候，数据在不同的存储模式之下的转换效率非常低下，因此对此问题进行优化非常有必要。
本发明提供的方法，在读取多维数据之时，避免了节点之间的网络传输，提高了多维数据的读取效率，减少了多维数据存储模式转换过程中的开销，进而提升了多维数据存储模式转换效率。
成果亮点
本发明提供一种分布式存储系统中多维数据的存储模式转换方法，该方法包括：根据当前数据表的当前行键集合和目标数据表的目标行键集合，获取公共行键集合和原始行键集合；对原始行键集合中所有维度的所有取值进行分区，并对所有分区并行扫描，以读取每一个分区中的所有取值；根据所有分区中的每一个取值，逐条读取当前数据表中对应的多维数据；根据目标行键集合，将读取出的每一条多维数据，写入目标数据表中。
团队介绍
天谋科技由 Apache IoTDB 核心团队创立，团队聚焦大数据底层技术软件研发，针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题，为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成，汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。
成果资料
产业化落地方案
成果综合评价报告
评价单位：“科创中国”开源产业科技服务团 (中国通信学会) 评价时间：2022-11-18
微信公众号
下载app
Copyright © 2022 中国科学技术协会 版权所有 | 京ICP备16016202号-20
京公网安备 11010202008974号