科创中国

本发明公开了一种基于窗口的流式数据缺失处理方法，包括：输入需要处理的含有缺失数据的数据流；判断流式数据是否缺失；动态滑动窗口评估；窗口锁定；不完备信息处理；输出处理后的完备数据流结果。通过对流式数据提供滑动窗口，根据数据流的大小动态调整窗口大小；利用数据内部的时间和空间特性对缺失数据进行填补，对流式数据的缺失填补。此法具有分类精度较高，运行时间复杂度低，计算资源利用率高等特点，有效的克服了现有处理方法存在的方式单一，时空复杂度高等问题。

本发明通过对流式数据提供滑动窗口，根据数据流的大小动态调整窗口大小，然后利用数据内部的时间和空间特性对缺失数据进行填补，从而达到对流失数据的缺失填补的目的；以提高缺失数据填充的精度，克服信息缺陷问题，减少处理流式数据时的时间复杂度和空间复杂度，保证填补数据的恢复精确度。

目前传感器网络通常用来监测不同位置的物理或环境状况，网络在获取数据后会传输到数据中心对数据进行分析和显示。在节点所环境中，通常由于传感器网络自身硬件和软件的局限性，加上监测中遭到各种不利因素例如天气、人为、电磁辐射以及向中心传输过程中传输信道不稳定等影响，传感器网络中的节点在监测和获取信息的过程中，会出现数据缺失的情况，在数据中心接收到的数据将会是不完备的数据。数据的缺失，一般分为数据单重缺失和数据多重缺失，单重缺失是指数据中单一属性值的缺失，而多重缺失是存在多重属性值的缺失。传感器网络中对具有缺失数据的数据流进行数据预处理时遇到的一些急需解决的问题。传感器网络中采集到的数据流会因为传感器精度、灵敏度以及数据传输中的一些因素影响而存在缺失，在数据中心分析、显示过程中，缺失的数据会减小有用信息量，同时对中心处理以及信息显示造成困难，因此对流式数据的缺失处理是很重要的。

宁波市智能制造产业研究院是受浙江省省委省政府委托，由宁波市政府与智能制造领域专家团队共同筹建的具有集团性质的机器人及智能制造企业集群。宁研院总投资3亿元，致力于搭建技术研究与成果产业化的桥梁，以打造“浙江制造”为核心目标，积极创造机器人名牌产品，业务覆盖智能制造核心部件、机器人本体、产业应用等多个领域，通过3-5年时间成为宁波市智能经济发展的核心支撑平台。

目前传感器网络通常用来监测不同位置的物理或环境状况，网络在获取数据后会传输到数据中心对数据进行分析和显示。在节点所环境中，通常由于传感器网络自身硬件和软件的局限性，加上监测中遭到各种不利因素例如天气、人为、电磁辐射以及向中心传输过程中传输信道不稳定等影响，传感器网络中的节点在监测和获取信息的过程中，会出现数据缺失的情况，在数据中心接收到的数据将会是不完备的数据。数据的缺失，一般分为数据单重缺失和数据多重缺失，单重缺失是指数据中单一属性值的缺失，而多重缺失是存在多重属性值的缺失。传感器网络中对具有缺失数据的数据流进行数据预处理时遇到的一些急需解决的问题。传感器网络中采集到的数据流会因为传感器精度、灵敏度以及数据传输中的一些因素影响而存在缺失，在数据中心分析、显示过程中，缺失的数据会减小有用信息量，同时对中心处理以及信息显示造成困难，因此对流式数据的缺失处理是很重要的。

技术合作