在工业领域,企业为了监控设备的运行状态,会在设备上安装许多传感器,根据传感器测量得到的数据来判断设备是否正常工作。而传感器按照时间顺序测量得到的数据就是所谓的时序数据。但是,由于传感器本身因素,会出现测量得到的部分数据是错误数据,基于该错误数据判断设备的运行状态就可能在传感器工作时,持续不断的产生虚警,这些虚警给企业的生产监控带来了很大的干扰。
本发明实施例提供的错误数据容忍的虚警过滤方法和装置,通过将可能产生报警的疑似时间序列与历史真警做相似度匹配以及计算其异常度来过滤错误数据引起的虚警,能够过滤掉绝大部分错误数据引起的虚警,提高报警的准确率。
本发明实施例提供一种错误数据容忍的虚警过滤方法和装置。该方法包括获取传感器测量得到的设备对应的时序数据,根据所述设备正常运行所对应的状态参数值,确定所述时序数据中包括的疑似时间序列;根据预设的相似度匹配方法,计算每一所述疑似时间序列与历史真警对应的报警时间序列之间的相似度,将对应的相似度高于相似度阈值的疑似时间序列确定为真警,根据预设的异常因子检测算法计算每个对应的相似度不高于所述相似度阈值的疑似时间序列的异常度;根据每个对应的相似度不高于所述相似度阈值的疑似时间序列的异常度,对所述疑似时间序列是否为真警进行判断。
本项目的研究成果可运用于建立 Apache IoTDB 集群、分布式版本架构,有助于 IoTDB 更广泛的工业场景运用。目前,以 Apache IoTDB 为核心的物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、长安汽车、金风科技等企业广泛应用。
天谋科技由 Apache IoTDB 核心团队创立,团队聚焦大数据底层技术软件研发,针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题,为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache(国际最大开源软件基金会)旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成,汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会(Fraunhofer-Gesellschaft)、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家,拥有十几年研究和服务工业用户的经验。在时序数据管理领域,团队成员拥有中国、美国、欧洲等发明专利30余项,并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。
近年来伴随物联网和工业互联网行业的发展,高效的物联网/工业物联网数据管理技术成为工业界的需求热点。针对工业场景中机器设备、传感器等终端上报的时序数据(按时间记录的数据列),时序数据库 Apache IoTDB 为更好的管理时序数据提供了出色的解决方案,能够帮助企业更好的挖掘时序数据价值。
技术由天谋科技(北京)有限公司的 IoTDB 核心团队研发,预计应用于各工业领域公司以 IoTDB 为主体的时序数据管理平台中。