时序数据是一组按照时间信息排列的有序数据。随着互联网,工业4.0和工业物联网的发展,网页、工业传感器、移动设备等每天会产生大量的时序数据。由于时间序列数据量较大,终端设备无法全部存储,必须定期将数据传送到数据中心才能进行长期存储。考虑到终端的存储空间有限,数据传输速率有限,因此,如何将原始数据进行高压缩率地编码,有效地减少数据的空间占用,就成为非常重要的问题。
本发明实施例能够高效地确定编码策略,有效地解决现有技术容易受到突变点、异常点以及缺失值影响的缺点。
本发明实施例提供一种时序数据的编码方法及装置,其中方法包括:获取时序数据以及时序数据的原始二阶差分序列,获取原始二阶差分序列的紧凑编码占用的存储空间Cold;将原始二阶差分序列中不小于预设阈值的二阶差分拆分成若干个小于预设阈值的二阶差分,并根据新的二阶差分序列生成标识序列,标识序列用于标记新的二阶差分序列中的各二阶差分是否为原始二阶差分;获取新的二阶差分序列的紧凑编码和标识序列占用的存储空间Cs,若存储空间Cs小于存储空间Cold,则根据新的二阶差分序列的紧凑编码以及标识序列生成编码策略。
本项目的研究成果可运用于建立 Apache IoTDB 集群、分布式版本架构,有助于 IoTDB 更广泛的工业场景运用。目前,以 Apache IoTDB 为核心的物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、长安汽车、金风科技等企业广泛应用。
天谋科技由 Apache IoTDB 核心团队创立,团队聚焦大数据底层技术软件研发,针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题,为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache(国际最大开源软件基金会)旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成,汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会(Fraunhofer-Gesellschaft)、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家,拥有十几年研究和服务工业用户的经验。在时序数据管理领域,团队成员拥有中国、美国、欧洲等发明专利30余项,并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。
近年来伴随物联网和工业互联网行业的发展,高效的物联网/工业物联网数据管理技术成为工业界的需求热点。针对工业场景中机器设备、传感器等终端上报的时序数据(按时间记录的数据列),时序数据库 Apache IoTDB 为更好的管理时序数据提供了出色的解决方案,能够帮助企业更好的挖掘时序数据价值。
技术由天谋科技(北京)有限公司的 IoTDB 核心团队研发,预计应用于各工业领域公司以 IoTDB 为主体的时序数据管理平台中。目前公司资金充足,可以单独完成成果研发,并在开源社区积极寻求开源用户体验、优化产品。希望未来能够在更多行业更多企业运用至时序数据管理平台。