科创中国
基于缺失率与异常度度量的不完备数据集建模及处理方法
发布时间: 2023-05-17
来源: 科技服务团
基本信息
合作方式：
技术转让
成果类型：
发明专利
行业领域：
高技术服务业
成果介绍
基于缺失率与异常度度量的不完备数据集建模及处理方法，属于多余物检测技术领域。本发明为了解决现有的多余物检测方法忽略了对异常值的探索的问题和针对缺失值的填补方法很少将应用对象扩展到数据集层面的问题。本发明对数据集中容易忽视的异常值问题进行了充分考虑，并引入数据结构领域的二分法来缩小区间长度和找寻数据分布规律，构建静态或固定结构数据集的不完备数据处理模型，在模型建立阶段先对不完备数据处理模型异常值处理部分的规则进行了探索，后对不完备数据处理模型缺失值处理部分的规则进行了探索，最终针对多余物定位数据集，参照不完备数据处理模型的处理过程建立不完备数据处理模型，并基于模型对多余物定位数据进行处理。
成果亮点
本发明提出了一种基于缺失率与异常度度量的不完备数据集建模及处理方法，给出一 套可以直接判断的方式，例如满足什么条件时可以使用不完备数据处理模型，满足什么条 件时不完备数据处理模型使用直接丢弃法取得的处理效果最好，满足什么条件时模型使用 统计法填充、插值法填充或预测模型填充取得的处理效果更好。这样，针对单个固定结构 的不完备数据集可以建立一套不完备数据处理模型。当面对同种结构的新的不完备数据集 时，建立的不完备数据处理模型可以直接“照章办事”，使用更加方便。同时本发明不仅考 虑了对异常值的探索，形成了更加统一的处理方式，而且本发明将二者应用对象扩展到数 据集层面的问题，可以极大地保证数据处理的效果。
团队介绍
黑龙江大学（Heilongjiang University），位于黑龙江省哈尔滨市，是黑龙江省人民政府和中华人民共和国教育部、国家国防科技工业局共建的省属综合性大学，黑龙江省“双一流”建设国内一流大学A类高校，入选国家卓越法律人才教育培养计划、中西部高校基础能力建设工程、特色重点学科项目、国家建设高水平大学公派研究生项目、中国政府奖学金来华留学生接收院校、全国深化创新创业教育改革示范高校、教育部来华留学示范基地，是世界翻译教育联盟、中俄新闻教育高校联盟、中俄综合性大学联盟、上海合作组织大学、“一带一路”智库合作联盟成员单位。
成果资料
产业化落地方案
成果综合评价报告
评价单位：“科创中国”黑龙江科技服务团 (黑龙江省科学技术协会) 评价时间：2023-11-10
微信公众号
Copyright © 2022 中国科学技术协会 版权所有 | 京ICP备16016202号-20
京公网安备 11010202008974号