数据异常检测方法和装置

发布时间: 2022-11-17

来源: 科技服务团

基本信息

合作方式：技术服务

成果类型：发明专利

行业领域：

新一代信息技术产业,互联网与云计算、大数据服务

成果介绍

随着区块链技术的发展，越来越多的设备运维时序数据上链管理，与区块链第三方存储介质相关的异常检测逐渐被人重视。有关异常检测的算法也被广泛使用，现有的研究运用了各种各样的方法，但对于区块链第三方存储介质上时序数据做在线异常检测均有不足。本发明实施例考虑到数据不同属性对异常值的影响不同，设置了权值，且考虑到区块链第三方存储介质上数据存储和访问的特性，更适配区块链第三方存储场景。本发明实施例能够对区块链第三方存储介质上数据进行检测，具有较好的准确率和召回率。

成果亮点

本发明实施例提供一种数据异常检测方法和装置，能对区块链第三方存储介质上时序数据在线做异常检测的高效算法。所述方法包括：对各数据集按照属性进行去一划分，并根据划分后的数据集的信息熵计算各属性的权值；根据各属性的权值计算各数据集中不同数据对象间的余弦距离，并根据各数据对象与其他数据对象间的余弦距离计算各数据对象的初始异常值；对计算好所有数据对象的初始异常值的各数据集按照时序插入有序序列；根据序列中任一数据集的上一时刻和下一时刻的数据集的异常状态更新所述任一数据集的数据对象的初始异常值；对各数据集的数据进行检测，对异常值超过指定阈值的数据判断为异常。

团队介绍

天谋科技由 Apache IoTDB 核心团队创立，团队聚焦大数据底层技术软件研发，针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题，为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成，汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。

成果资料

产业化落地方案

点击查看

成果综合评价报告

评价单位：“科创中国”开源产业科技服务团 (中国通信学会) 评价时间：2022-11-18

乔嘉林

清华大学软件学院

助理研究员

综合评价

该成果对于物联网工业场景下，企业如何更好的管理由工业场景产生的时序数据有一定的引领性作用，技术创新性很强，目标市场处于成长市场，发展空间大。

科创中国

友情链接

海外专利信息资源系统

省级中心站