科创中国

随着大数据应用的普及，人们需要管理数据的种类和数量在不断增长，多源异构数据的使用对现有的数据管理系统提出了巨大挑战，寻求通过统一数据模型实现多类型数据一体化存储已经成为非结构化数据技术的必然发展趋势。 本发明提出一种基于弹性表模型的多源异构数据存储方法和系统，分别通过数据的对象信息和属性信息对数据进行分组、分类存储，将一个对象的多个维度的异构数据统一组织，允许数据模型随应用的演化而不断增加异构数据类型和一种数据中的属性数量，使得其更加切合实际应用需求，在多个维度上、且在每个维度内具有弹性，使得模型可以支持应用收集数据类型的不断变化，弹性表模型在刻面内允许属性动态增减，使得模型可以支持大规模数据应用。

本发明提供一种基于弹性表模型的多源异构数据存储方法和系统，所述方法包括：获取数据的对象信息和数据的属性信息；基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；基于所述弹性表模型对所述数据进行存储。分别通过数据的对象信息和属性信息对数据进行分组、分类存储，将一个对象的多个维度的异构数据统一组织，能不断增加异构数据类型和一种数据中的属性数量，在多个维度上、每个维度内具有弹性。

本项目的研究成果可运用于建立 Apache IoTDB 集群、分布式版本架构，有助于 IoTDB 更广泛的工业场景运用。目前，以 Apache IoTDB 为核心的物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、长安汽车、金风科技等企业广泛应用。

天谋科技由 Apache IoTDB 核心团队创立，团队聚焦大数据底层技术软件研发，针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题，为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成，汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。

近年来伴随物联网和工业互联网行业的发展，高效的物联网/工业物联网数据管理技术成为工业界的需求热点。针对工业场景中机器设备、传感器等终端上报的时序数据（按时间记录的数据列），时序数据库 Apache IoTDB 为更好的管理时序数据提供了出色的解决方案，能够帮助企业更好的挖掘时序数据价值。

技术由天谋科技（北京）有限公司的 IoTDB 核心团队研发，预计应用于各工业领域公司以 IoTDB 为主体的时序数据管理平台中。