科创中国
基于多层次列式存储结构的时序数据存储方法
发布时间: 2022-11-18
来源: 科技服务团
基本信息
合作方式：
技术服务
成果类型：
新技术
行业领域：
新一代信息技术产业,互联网与云计算、大数据服务
成果介绍
目前，随着云计算、互联网、物联网等现代技术的不断发展，数据发挥着越来越重要的作用。工业领域自动化与信息化应用对时序数据的使用越来越多，其存储与查询问题已经成为工业大数据研究中的一项重点内容。现有的列式存储系统仅仅将每列单独存储，没有考虑到对于时序数据，存在多个不足。
本方法对时序数据按列组织，将同一行组内的同一列的数据在文件中连续存储，从而使得被查询的数据在文件中处于相近的位置，可以减少查询时对时序数据的读取量，从而提高查询的速度，提高了磁盘的IO性能。
成果亮点
本发明提供一种基于多层次列式存储结构的时序数据存储方法，将所有待存储时序数据存储于文件中，所述文件包括第一部分和第二部分；将每一待存储时序数据的获取时间和每一待存储时序数据的数据值存储于所述第一部分；将所述第一部分划分为若干个行组；将每一行组划分为若干个列组；将所有行组的个数、每一行组在文件的偏移量、每一行组中所有列组的个数、每一时序数据的属性值和每一列组在所述文件的偏移量作为所述第二部分。
团队介绍
天谋科技由 Apache IoTDB 核心团队创立，团队聚焦大数据底层技术软件研发，针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题，为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成，汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。
成果资料
产业化落地方案
成果综合评价报告
评价单位：“科创中国”开源产业科技服务团 (中国通信学会) 评价时间：2022-11-18
微信公众号
下载app
Copyright © 2022 中国科学技术协会 版权所有 | 京ICP备16016202号-20
京公网安备 11010202008974号