您所在的位置: 成果库 数据中的异常数据点的检测方法及系统

数据中的异常数据点的检测方法及系统

发布时间: 2022-11-17

来源: 科技服务团

基本信息

合作方式: 技术服务
成果类型: 发明专利
行业领域:
新一代信息技术产业,互联网与云计算、大数据服务
成果介绍
近年来,随着信息技术的发展,各类数据如物联网数据等呈现出海量增长的趋势。在这样的背景下,数据质量已经成为了一个重要的研究方向,将数据进行清洗得到高质量的数据是在数据分析前必不可少的流程,而现有技术中对于异常数据点的检测存在不精确的问题。 本发明提供的方法及系统提高了异常数据点的检测的精确度,且该方法的实施过程较为简便,易于在各种大数据现场执行。
成果亮点
本发明提供一种数据中的异常数据点的检测方法及系统。方法包括:对于数据中的每一数据点,根据所述数据的第一属性集合,获取所述数据点的近邻点集合;根据所述数据的第二属性集合,获取所述数据点与自身的近邻点集合的归一距离分布;基于所有归一距离分布,检测出所述数据中的异常数据点。本发明提供的方法及系统,通过初步确定数据点的近邻点集合后,利用统计学思想检测近邻点集合中的异常近邻点,遍历所有的数据点,将异常近邻点检测结果进行聚合操作,检测得到最终的异常数据点。
团队介绍
天谋科技由 Apache IoTDB 核心团队创立,团队聚焦大数据底层技术软件研发,针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题,为企业提供海量时序数据管理的高效解决方案。创始团队由 Apache(国际最大开源软件基金会)旗下 IoTDB、PLC4X 两大开源物联网项目的发起人和核心开发者组成,汇集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会(Fraunhofer-Gesellschaft)、德国法兰克福能源集团等一批数据库核心技术科学家和工业资深专家,拥有十几年研究和服务工业用户的经验。在时序数据管理领域,团队成员拥有中国、美国、欧洲等发明专利30余项,并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。
成果资料
产业化落地方案
点击查看
成果综合评价报告

评价单位:“科创中国”开源产业科技服务团 (中国通信学会) 评价时间:2022-11-18

黄向东

清华大学软件学院

助理研究员

综合评价

该成果对于物联网工业场景下,企业如何更好的管理由工业场景产生的时序数据有一定的引领性作用,技术创新性很强,目标市场处于成长市场,发展空间大。
查看更多>
更多