一种大规模图结构数据处理方法、装置和系统

发布时间: 2022-11-28

来源: 科技服务团

基本信息

合作方式：技术服务

成果类型：发明专利

行业领域：

物理

成果介绍

本发明公开了一种大规模图结构数据处理方法、装置和系统，以提高数据计算效率并增强系统运行的可靠性。所述方法包括：从节点将图结构数据读取至内存；对内存中的图结构数据进行预处理，得到图结构数据中相邻顶点处于同一数据片的至少一个数据片；将预处理所得至少一个数据片映射至从节点；从节点采用迭代算法对映射至从节点的数据片进行计算。由于相邻顶点的信息映射至同一从节点而不是不同从节点，如此，从节点采用迭代算法对映射至从节点的数据片进行计算时，无需与其他从节点进行通信，由此减少了通信量，降低对集群内带宽资源的需求，并且提高了集群系统及其节点的计算效率。

成果亮点

一种大规模图结构数据处理方法，其特征在于，所述方法包括：从节点将图结构数据读取至内存，所述从节点将图结构数据读取至内存包括：首先打开指定文件，设定内存地址，将文件内容按行或用户自定义的方式读取到预设的位置，其中，从文件读取到的内容需要解析成可计算的格式；对所述内存中的图结构数据进行预处理，得到所述图结构数据中相邻顶点处于同一数据片的至少一个数据片，针对大规模图结构数据，对所述内存中的图结构数据进行预处理时，多个从节点同时执行图结构数据的预处理；将所述预处理所得至少一个数据片映射至从节点；从节点采用迭代算法对所述映射至从节点的数据片进行计算。

团队介绍

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

成果资料

产业化落地方案

点击查看

成果综合评价报告

评价单位：- (-) 评价时间：2023-01-05

吴正斌

天津中科先进技术产业有限公司

总经理

综合评价

这个企业已经有一定的基础，建议与相关学会组织搭建平台，请学会以及研究所、大学和相关企业参与，可能会攻克难关，会对我们国家甚至世界所存在问题提出解决的措施并做出贡献，前途可期。

科创中国

友情链接

海外专利信息资源系统

省级中心站