科创中国

近年来，随着信息技术的发展，各类数据如物联网数据等呈现出海量增长的趋势。在这样的背景下，数据质量已经成为了一个重要的研究方向，将数据进行清洗得到高质量的数据是在数据分析前必不可少的流程，而现有技术中对于异常数据点的检测存在不精确的问题。 本发明提供的方法及系统提高了异常数据点的检测的精确度，且该方法的实施过程较为简便，易于在各种大数据现场执行。

本发明提供一种数据中的异常数据点的检测方法及系统。方法包括：对于数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点的近邻点集合；根据所述数据的第二属性集合，获取所述数据点与自身的近邻点集合的归一距离分布；基于所有归一距离分布，检测出所述数据中的异常数据点。本发明提供的方法及系统，通过初步确定数据点的近邻点集合后，利用统计学思想检测近邻点集合中的异常近邻点，遍历所有的数据点，将异常近邻点检测结果进行聚合操作，检测得到最终的异常数据点。

本项目的研究成果可运用于建立 Apache IoTDB 集群、分布式版本架构，有助于 IoTDB 更广泛的工业场景运用。目前，以 Apache IoTDB 为核心的物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、长安汽车、金风科技等企业广泛应用。

天谋科技由 Apache IoTDB 核心团队创立，团队聚焦大数据底层技术软件研发，针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题，为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成，汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。

近年来伴随物联网和工业互联网行业的发展，高效的物联网/工业物联网数据管理技术成为工业界的需求热点。针对工业场景中机器设备、传感器等终端上报的时序数据（按时间记录的数据列），时序数据库 Apache IoTDB 为更好的管理时序数据提供了出色的解决方案，能够帮助企业更好的挖掘时序数据价值。

技术由天谋科技（北京）有限公司的 IoTDB 核心团队研发，预计应用于各工业领域公司以 IoTDB 为主体的时序数据管理平台中。