您所在的位置: 成果库 Apache IoTDB 高效存储引擎技术

Apache IoTDB 高效存储引擎技术

成果类型:: 新技术

发布时间: 2022-11-17 20:49:36

科技成果产业化落地方案
方案提交机构:“科创中国”开源产业科技服务团| 李以华 | 2022-12-07 14:16:42
近年来,时序数据管理已成为业界与研究界关注焦点,物联网(IoT)尤其是工业物联网(IIoT 与Industry 4.0)的发展进一步激发了时序数据管理技术的市场需求,使其进而成为该领域重要的软件基础设施。主要原因在于,以往人们主要集中在信息化数据的管理,因此常用关系数据库来管理数据,而随着工业物联网的发展,对机器设备产生数据的管理成为工业生产提质增效、精益求精的重要手段。但工业机器设备所产生的数据具有产生频率快、严重依赖采集时间、测点多、信息量大等特点,传统数据库难以实现对时间序列数据的有效存储、处理和查询,因此Apache IoTDB 聚焦的时序数据库管理的需求被迅速点燃。 Apache IoTDB是一款工业物联网时序数据库管理系统,采用端边云协同的轻量化结构,支持一体化的物联网时序数据收集、存储、管理与分析,具有多协议兼容、超高压缩比、高通量读写、工业级稳定、极简运维等特点,可以解决企业组建物联网大数据平台时所遇到的应用场景复杂、数据体量大、采样频率高、数据乱序到达、数据处理耗时长、分析需求多、存储与运维成本高等多种问题。
针对工业领域对于时序数据频密写入的要求,Apache IoTDB 能够实现每秒千万数据点写入的能力,且写入速率不随数据量增长而下降,维持稳定高速水平。同时,因高频的写入-存储过程中可能存在数据异常的业务场景,IoTDB 还支持对齐和非对齐序列存储,允许数据乱序写入、覆盖、删除、按时间对齐、空值填充等多种数据预处理操作,达到每秒千万点写入吞吐,让写入更高效,并让大量原始数据可在较短时间内转换为完整的待下一步分析数据。

本项目的研究成果可运用于建立 Apache IoTDB 集群、分布式版本架构,有助于 IoTDB 更广泛的工业场景运用。目前,以 Apache IoTDB 为核心的物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、长安汽车、金风科技等企业广泛应用。

Apache IoTDB 创始团队由 Apache(国际最大开源软件基金会)旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成,汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会(Fraunhofer-Gesellschaft)、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家,拥有十几年研究和服务工业用户的经验。在时序数据管理领域,团队成员拥有中国、美国、欧洲等发明专利30余项,并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。

近年来伴随物联网和工业互联网行业的发展,高效的物联网/工业物联网数据管理技术成为工业界的需求热点。针对工业场景中机器设备、传感器等终端上报的时序数据(按时间记录的数据列),时序数据库 Apache IoTDB 为更好的管理时序数据提供了出色的解决方案,能够帮助企业更好的挖掘时序数据价值。

技术由天谋科技(北京)有限公司的 IoTDB 核心团队研发,预计应用于各工业领域公司以 IoTDB 为主体的时序数据管理平台中。