基于弹性表模型的大规模多源异构数据持久化方法
发布时间: 2021-11-17
来源: 科技服务团
基本信息
本发明提供一种大规模多源异构数据的存储方法及装置,所述方法包括:基于内存中的待存储数据对象构建弹性表模型;遍历所述弹性表模型的每个刻面,在每个刻面对应的文件夹下创建数据文件,将每个刻面对应的所有待存储数据对象中的每一待存储数据对象作为一个目标数据对象;遍历所有目标数据对象中的每个目标数据对象,将每个目标数据对象的所有属性进行排序,并存储于所述数据文件中。本发明提供的大规模多源异构数据的存储方法及装置,以构建出的弹性表模型进行数据的存储和查询,适用于大规模多源异构数据的弹性表模型持久化。