作为一种NoSQL(NotOnlyStructuredQueryLanguage,不仅是结构化查询语言)数据库,时间序列数据库已广泛应用于工业生产、医疗、金融等领域。不同时间序列数据库软件产品的时间序列模式管理方式存在差异。目前国际市场上存在的时间序列数据库唯一标识一条时间序列的方式主要有两种。一种是基于度量(Metric)和标签(Tags)的标识方法;另一种是基于路径(Path)的标识方法。本发明实现度量和标签数据模式到路径数据模式的转换,且只需要维护每个度量的标签字段关键字和路径位置的对应信息,具有很小的内存和硬盘持久化存储开销。
本发明提供一种时间序列数据库的模式转换方法及装置,方法包括:将基于度量和标签数据模式的时间序列转换为二元组;其中,二元组包括时间序列中的度量名称,以及一个或多个标签,每个标签包括标签字段和标签字段的标签值;若预先创建的双层映射表中存在度量名称,则从双层映射表中获取度量名称对应的子映射表;若子映射表中二元组的所有标签字段在路径数据模式下的路径位置均不为空,则创建路径,将各路径位置对应的标签字段的标签值添加到路径中相应的路径位置,在路径的最后位置添加度量名称。
本项目的研究成果可运用于建立 Apache IoTDB 集群、分布式版本架构,有助于 IoTDB 更广泛的工业场景运用。目前,以 Apache IoTDB 为核心的物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、长安汽车、金风科技等企业广泛应用。
天谋科技由 Apache IoTDB 核心团队创立,团队聚焦大数据底层技术软件研发,针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题,为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache(国际最大开源软件基金会)旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成,汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会(Fraunhofer-Gesellschaft)、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家,拥有十几年研究和服务工业用户的经验。在时序数据管理领域,团队成员拥有中国、美国、欧洲等发明专利30余项,并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。
近年来伴随物联网和工业互联网行业的发展,高效的物联网/工业物联网数据管理技术成为工业界的需求热点。针对工业场景中机器设备、传感器等终端上报的时序数据(按时间记录的数据列),时序数据库 Apache IoTDB 为更好的管理时序数据提供了出色的解决方案,能够帮助企业更好的挖掘时序数据价值。
技术由天谋科技(北京)有限公司的 IoTDB 核心团队研发,预计应用于各工业领域公司以 IoTDB 为主体的时序数据管理平台中。目前公司资金充足,可以单独完成EMQX成果研发,并在开源社区积极寻求开源用户体验、优化产品。希望未来能够在更多行业更多企业运用至时序数据管理平台。