科创中国

行业领域

电子信息技术,信息安全技术,通信技术,计算机及网络技术

需求背景

由于互联网的高速发展、大数据的迅速膨胀和物联网的飞速崛起。

随着这些技术的发展，我们发现生活和工作中的大部分数据渐渐和时间产生了关联。比如微信运动的实时步数、股票每天的收盘价格、共享单车的设备状态等等。为了存储这些与时间相关的数据，积极拥抱物联网时代，各大企业纷纷推出自家的时序数据库。

需解决的主要技术难题

时序数据库系统架构需要满足如下特征：

（1）结构化：操作系统的架构需要实现结构化，保证事务的持久性。

（2）易伸缩：时序数据库系统需要以统一的方式管理云边端协同系统中的软硬件资源，根据用户的数据管理需求提供易伸缩的资源访问和计算能力。

（3）可定制：时序数据库需要支持基于云边端协同的个性化定制功能，使之不仅能完成云边端协同的新型数据管理还能个性化的定制满足不同使用场景和不同硬件上的数据库服务。

（4）服务化：时序数据库系统可提供各式各样的应用服务，用户可以随时随地通过任何设备访问服务（比如智慧城市中的路径规划，车辆预约等），需要支持桌面终端、智能手机、平板电脑、服务器 shell 在内的多种接口，解决多终端适配，云边端协同等问题。

2.研究面向云边端协同的多源异构数据融合治理

研究云边端协同下多源异构数据的融合治理方法，对多源、多模数据开展多级别、多方面、多层次的融合模型及数据治理策略，主要分为如下四点展开：

（1）云边端多信息源的数据级融合处理方法。研究面向多源、多模态数据的数据级融合方法，实现对复杂场景多信息源数据的互补性利用，生成一组更能有效表示该复杂场景状态的数据信息；研究面向文本、图片、音频、视频、时间序列等模态数据的特征提取方法和张量形式特征表示方法，实现多信息源的数据特征向特定特征空间映射，以及保持复杂场景中各信息源间的约束关系，为融合计算提供输入支撑。

（2）多源、多模数据的特征级融合及特征匹配方法。研究基于协方差矩阵、相关性分析、信息熵、人工神经网络等方式的数据特征融合方法，并构建多信息源异构数据特征转换成为同构特征的算法；研究基于置信度、视角、配准、模板、特征空间距离等方式的特征匹配方法，提高特征匹配的准确性、普适性、高效性，为上层计算提供高质量的数据特征，以应对复杂场景可能面临的计算资源受限的条件约束。

（3）云边端协同下的决策级、排序级融合计算策略。研究基于贝叶斯估计、D-S 证据理论、人工神经网络等方式的决策级、排序级融合计算策略，并在此基础上研究人工神经网络与贝叶斯估计、D-S 证据理论等传统方式相结合的多模块级联方案，再结合模糊理论提高分类决策和排序的准确性；研究具有鲁棒性的决策级、排序级人工神经网络融合计算模型，以应对复杂场景可能面临的低质量数据（不完整、不一致、对抗样本数据等）的条件约束。

（4）云边端多源异构数据的治理策略。研究算法对半结构化数据和非结构化数据进行关键信息提取处理，从而转化成标准化数据。同时对多源数据进行科学分类组织，并对多源同义的数据进行分层治理与信息融合。基于数据治理方法论，将任务效果评价流程打通，反向驱动数据治理，不断提升主数据和次数据管理质量，同时反向驱动源头数据采集和埋点的要求，提升源头数据质量，从生命周期全链条来治理数据。

3.架构面向云边端异构硬件感知的查询优化器。

期望实现的主要技术目标

（1）基于云边端协同的共享逻辑执行计划设计准确的基数估计技术。传统的基数估计技术依赖于假设的数据分布，近年来随着机器学习技术的兴起，数据库领域的研究者们提出了多种基于学习的基数估计方法。相比如传统方法，这些基于学习的基数估计准确度有了较大程度的提高。然而上述所有方法都是针对云端或者单机单独执行的 SQL 语句。在时序数据库系统中，数据查询或者分析任务（SQL 语句）不再只限于单独执行，而是大概率会分布在云边端三个不同组织同时执行从而得到最终结果。因此传统基于整个数据表的基数估计理论在云边端协同的时序数据库系统中的正确性显然无法满足。因此，需要解决如何为云边端协同系统共享执行逻辑计划设计准确的基数估计算法，从而提高共享执行物理计划的优化程度。

（2）硬件感知的共享执行物理计划生成技术。需要根据云边端协同系统中不同计算硬件的特性来设计云边端协同的开销模型，从而获得优化后的云边端协同共享的物理执行计划。具体而言，每一个不同算子放在不同硬件上计算开销显然不同，如同样的 join 操作，CPU 执行和 GPU 执行的性能区别十分明显。因此在共享执行物理计划生成过程中我们需要精准刻画不同算子在不同计算硬件上的开销，从而提高面向云边端异构计算硬件的共享执行计划的优化效率。

4.面向云边端系统的数据安全与隐私保护

针对云边端协同场景下，数据不安全、多方不互信和隐私易泄露问题，研究基于区块链的云边端数据可信管理，研究基于区块链的云边端数据共识策略，研究基于区块链的云边端数据隐私保护，形成基于区块链的云边端数据安全管理体系。

（1）基于区块链的云边端数据可信管理。研究云边端系统下的数据协同存储模型、理论和方法，为云边端系统下的数据可信管理提供支撑；研究云边端系统下的数据安全共享模型、理论和方法，实现云服务层、边缘设备层和终端层之间数据的安全共享管理；研究云边端系统下的数据可信验证模型、理论和方法，提供静态、动态以及混合等多种验证方式。 

（2）基于区块链的云边端数据共识策略。研究云边端系统下的混合信任模型，结合可信性评估和检验，为云边端数据的多方可信共识提供理论支撑；研究云边端系统下的混合信任共识模型、理论和方法，解决由于多方不互信造成的数据安全问题；研究云边端系统下的轻量级共识模型、理论和方法，提高系统的共识效率。

（3）基于区块链的云边端数据隐私保护。研究云边端系统下的数据隐私分级模型、理论和方法，提供多尺度下的隐私分级评价和保护；研究云边端系统下的数据访问模型、理论和方法，提供“属性-事务-区块”多粒度访问控制；研究云边端系统下的数据隔离模型、理论和方法，提供“云-边”和“边-边”等多层次数据隔离。

处理进度