科创中国
自适应编码长度的时序数据存储的方法和装置
发布时间: 2022-11-17
来源: 科技服务团
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
新一代信息技术产业,互联网与云计算、大数据服务
成果介绍
伴随着云计算、互联网、物联网等现代技术的不断发展和成熟，时间序列数据（简称为时序数据）在各个领域以及人们的日常生活中占据了很大的比重。在许多实际的应用场景中，时序数据会最终保存在磁盘上。由于数据量较大，现阶段面临的一个问题是如何高效地存储时序数据，使得占用的磁盘空间尽可能少。现有存储经过编码后的编码数据方法，对异常数据的编码复杂，导致存储效果变差。
本发明所述方法引入了存储收益来判断时序数据序列中是否存在异常数据，在确定存在异常数据时，对异常数据之前所有数据按对应的编码数据存储，避免了异常数据在编码过程中造成的不良影响，保证了最佳的节省存储空间的效果。
成果亮点
本发明提供一种自适应编码长度的时序数据存储的方法和装置，包括按时间戳先后顺序获取时间戳对应的数据值，将预存储前n个数据值所需的存储空间值与预存储预设编码规则的规则信息和前n个数据值对应的编码数据所需的存储空间值的比值作为获取第n个数据值的时刻对应的存储收益，若获取第n个数据值的时刻对应的存储收益比获取第n-1个数据值的时刻对应的存储收益小，则存储预设编码规则的规则信息和前n-1个数据值对应的编码数据。
团队介绍
天谋科技由 Apache IoTDB 核心团队创立，团队聚焦大数据底层技术软件研发，针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题，为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成，汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。
成果资料
产业化落地方案
成果综合评价报告
评价单位：“科创中国”开源产业科技服务团 (中国通信学会) 评价时间：2022-11-18
微信公众号
下载app
Copyright © 2022 中国科学技术协会 版权所有 | 京ICP备16016202号-20
京公网安备 11010202008974号