发布标准《食品安全大数据获取、存储与分析集成架构要求》
成果类型:: 新技术
发布时间: 2022-10-31 13:26:25
本标准规定了食品安全网络大数据获取、存储与分析一体化框架,包括食品安全网络大数据的管理框架、食品安全网络大数据的获取机制、食品安全网络大数据的存储机制以及食品安全网络大数据的分析机制。本标准适用于食品安全监管系统、食品安全数据管理系统。食品安全网络大数据获取、存储及分析一体化是云计算、区块链和联邦学习在食品安全网络大数据管理与分析中的应用,用于对食品安全网络大数据进行获取、存储及分析一体化应用,架构分为3层,分别为食品安全网络大数据采集获取层、数据存储层、数据分析层,最后提供食品安全网络大数据分析结果得分发接口API。
主要技术内容:本标准对食品安全大数据的术语、命名、使用要求、技术依据等进行规定,其中主要包含的技术内容包含基于网络爬虫的数据获取技术及对数据进行梳理的ETL流程、数据存储管理部分中包含基于云计算高容量与区块链键值对管理协调的数据标识编码与标识解析协议、数据分析部分包含基于联邦学习的数据分析技术。
技术创新说明:(1)食品安全监管理念创新,构建面向食品安全大数据中获取、存储与分析环节的一体化架构标准,建立以食品安全大数据为基础的数据管理与使用方法(2)使用云链融合架构完成数据存储管理,保证数据的安全存储与可信访问(3)构建数据标识编码与标识解析协议,确认数据责任主体与在云链间数据高效检索方法(4)使用基于云链融合的联邦学习架构进行模型训练,在保护各主体之间数据隐私的基础上实现共享式数据分析。
近年频发的食品安全事件使民众和社会对食品安全问题愈加关注,当前食品监管存在分段监管、人工监管、以罚代管、事后监管等现象导致不能更高效快捷的对食品全链条数据建立有效的关联分析和舆情预警,因而制定一套面向食品安全大数据的获取、存储与分析一体化架构标准以推进食品安全智能化监管机制尤为必要,以促进食品安全监管向全产业链监管、循“数”监管、全方位监管、事前事中监管迈进。
本标准所提出的食品安全大数据一体化架构包含数据获取、数据存储及数据分析3个顺序流程。数据获取流程包含数据源识别、数据基本描述及数据抽取ETL框架,根据数据源描述字段与数据内容字段完成数据源的识别与数据描述工作;数据存储部分使用云链融合架构按照标识编码与标识解析协议使用元数据管理数据源描述字段及数据描述字段并根据数据源存储情况添加数据资源索引字段,构成元数据组织写入区块链,原始数据在云计算中存储,该部分提供用于数据分析的数据访问接口;数据分析部分按照数据集划分模块、算法导入模块、模型导入模块、模型下载模块、模型聚合模块、模型训练及验证模块、参数上传模块、模型导出模块和数据分析模块顺序流程实现数据管理划分到最终分析结果导出;分析结果作为食品安全数据监管提供依据。
清华大学:承担国家重点研发计划(2016YFB0800402),研究大数据环境中数据全生命周期保护模型与方法,提出基于CP-ABE的多粒度访问控制机制,研究提供数据完整性及真实性保护算法,发表论文23篇,申请专利8项,获授权专利3项。设计云链融合下的数据标识与数据解析协议,申请专利1项。构建一套云链融合下数据管理及数据访问系统,申请软件著作权1项。武汉大学:参研重点研发计划(2018YFC1604002),研究了食品安全大数据的分析工作,目前已发表3篇论文,申请专利3项。北京信睿浩扬科技有限公司:长期提供食品安全业务,在多个省份具有应用市场。
食品安全问题对于保障公众身体健康和生命安全至关重要,我国一直将食品安全作为国家战略,不断强化政府监管力度和企业主体责任,力争全方位筑牢食品安全防线。目前,虽然我国已建立数字化的食品安全管理机制,各级政府、企业和有关部门也积极开展相关监督检查工作,但是我国目前还缺乏统一的食品安全大数据管理架构,对各个阶段的数据的获取、存储与分析进行统一的规范,导致大量食品安全数据只能分散存储在各级企业或监管单位,形成数据孤岛,难以充分发挥数字化食品安全管理的能力。通过本标准制定食品安全大数据获取、存储与分析一体化架构,不仅可以规范和指导各级单位获取和存储食品安全数据的格式和流程,还可以为各级单位之间的数据合作提供技术支撑,进而促进我国食品安全管理的规范化发展。
本标准提出的食品安全获取、存储与分析一体化架构完成从数据源到数据分析结果的全流程使用办法,为食品安全数据监管策略提供决策依据。
企业将成果转化为团体标准,推进成果转化落地。