时序数据乱序操作处理方法和装置

发布时间: 2022-11-17

来源: 科技服务团

基本信息

合作方式：技术服务

成果类型：发明专利

行业领域：

新一代信息技术产业,互联网与云计算、大数据服务

成果介绍

伴随着云计算、互联网、物联网等现代技术的不断发展和成熟，时间序列数据（简称时序数据）在工业界及人们的日常生活中占据了很大的比重。在工业实际场景中，乱序时间序列的处理和操作是经常要遇到的问题。在多数数据存储系统中尤其是NoSQL存储系统中，乱序操作会明显降低时序数据库的写入及查询性能。如何高效的对乱序操作进行存取是提升乱序数据写入、查询性能的关键。通过使用该发明中的二叉搜索树结构存储乱序数据操作，可以对乱序时序数据操作进行快速的记录，在查询时可以提供比较高的查询速率。

成果亮点

本发明提供一种时序数据乱序操作处理方法和装置，所述方法针对三种时序数据乱序操作，INSERT(t,v)操作：在时间点t插入新值v；UPDATE(t1,t2,v)操作：将时间段[t1,t2]更新为新值v；DELETE(t)操作：将时间点t之前的数据删除，定义了存储这三种操作的二叉搜索树的结构，该二叉树的每个节点表征一个时间区间段操作，所有节点的fix值满足小根堆性质，所有节点所存储的开始时间、结束时间满足二叉搜索树性质。每当一个新的乱序操作到来时，通过判断该操作与二叉搜索树根节点的交叉关系来对该操作与该二叉搜索树进行相应的修改，最终使得该二叉搜索树能够存储下该操作并能快速对数据进行查询。

团队介绍

天谋科技由 Apache IoTDB 核心团队创立，团队聚焦大数据底层技术软件研发，针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题，为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成，汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。

成果资料

产业化落地方案

点击查看

成果综合评价报告

评价单位：“科创中国”开源产业科技服务团 (中国通信学会) 评价时间：2022-11-18

乔嘉林

清华大学软件学院

助理研究员

综合评价

该成果对于物联网工业场景下，企业如何更好的管理由工业场景产生的时序数据有一定的引领性作用，技术创新性很强，目标市场处于成长市场，发展空间大。

科创中国

友情链接

海外专利信息资源系统

省级中心站