您所在的位置: 成果库 高效能数据并行处理与智能分析系统

高效能数据并行处理与智能分析系统

成果类型:: 发明专利

发布时间: 2022-11-13 14:40:22

科技成果产业化落地方案
方案提交机构:成果发布人| 倪晶 | 2022-11-13 14:40:22

面向我国行业领域对大数据并行处理与智能分析技术和服务能力提出的迫切需求,项目组自2014年以来在国家自然基金项目、中国工程院中国工程科技知识中心建设项目等支持下就IDC数据中心、高速列车智能诊断、智慧医疗、教育数据分析与处理等领域的大数据采集、融合、存储与分析挖掘等关键环节进行技术攻关,研发了高效能数据并行处理与智能分析系统,从基础理论发现、关键技术突破、到大数据并行处理与智能分析平台的研制和应用,形成了具有自主知识产权的技术体系。该成果为相关行业提供数据存储、分析和挖掘的智能化云服务,有效降低传统企业基于超级计算机、云服务集群等来实现大数据智能分析的使用门槛。

提出和研制了分布式异构环境中面向数据倾斜的任务时空调度算法;提出和研制了分布式异构环境下高效的资源管理系统与节能调度算法;提出了适应于机器学习/深度学习算法迭代的分布式异构优化环境构建方法;提出了面向机器学习/图迭代算法的分布式并行优化方法。

近年来项目成果支撑了中国工程院中国工程科技知识中心建设项目、国家自然科学基金项目等多项国家、省部级项目中大数据和智能算法平台的研发与实现,解决了其算力瓶颈,有力促进了我国人工智能应用技术进步,推动了我国制造、交通、教育、医疗等行业智能软件产品的跨越式发展。项目成果成为了联想、证通电子、东华软件、天闻数媒等上市公司和行业龙头企业行业大数据与智能计算产品的核心组件,解决了其大规模任务调度与资源管理、数据并行处理与智能分析等关键问题。近年来实现经济效益 23.2 亿元。

1唐卓 男 1981 年 11 月 教授 博士研究生 湖南大学 整体架构和调度算法2 廖清 女 1988 年 04 月 副教授 博士研究生 哈尔滨工业大学(深圳)任务调度与机器学习的分布式异构环境构建3 李肯立 男 1971 年 10 月 教授 博士研究生 湖南大学 资源管理系统与节能调度4 肖国庆 男 1988 年 08 月 副教授 博士研究生 湖南大学 机器学习算法并行优化5 曹嵘晖 男 1988 年 03 月 助理研究员 博士研究生 湖南大学 资源管理系统与节能调度6 蒋洪波 男 1976 年 11 月 教授 博士研究生 湖南大学 资源管理系统研制7 肖正 男 1981 年 04 月 副教授 博士研究生 湖南大学 机器学习算法并行优化8 周旭 女 1983 年 04 月 副教授 博士研究生 湖南大学 领域数据智能分析与应用9 胡逸騉 男 1988 年 11 月 助理研究员 博士研究生 湖南大学 领域数据智能分析与应用

在中国工程科技战略咨询平台上的应用。基于本项目成果完成了中国工程科技战略咨询平台中分布式的智能支持计算平台的建设。目前该平台已覆盖中文期刊论文 7500 万篇,外文期刊论文 1.4 亿篇,会议论文 950 万篇,能实时支撑海量用户在线查询,累计访问已超 500 万次。

在教育大数据智能分析挖掘上的应用。针对各类教育产品与教育行业的具体需求,开展了时序数据预测、自然语言处理等人工智能算法与模型的研究及实现,有效提升了智能教育的应用范围。该平台通过合作企业在全国十余个城市的智慧教育建设中得到了广泛应用,接入中小学达到 100 余所,课程 20 余门,在线人数 10 万余人,取得了较好的经济效益和社会效益。

在医疗行业数据处理与分析上的应用。作为核心组件及关键技术广泛应用于东华软件的数字医疗业务领域,为东华软件的智慧医疗解决方案提供了云计算与大数据采集、并行处理与智能化分析挖掘的基础设施,在产品销售中取得了较大的经济效益。

基于关键图片快速识别的高速列车故障诊断。基于我国现有异构超算平台和实时采集的图片、传感器等运行等数据,通过输出是否有故障、故障类别、故障等级、故障位置等多个目标,实现了一种列车故障快速自动检测与分析的系统。能实现对超百万张列车故障图片的实时检索。 (5)在智慧城市云数据中心上的应用。直接应用于深圳市证通电子股份有限公司在深圳、广州、东莞、深圳四地投资建设运营的五个数据中心,成果分布式异构环境中面向数据倾斜的任务时空调度算法可极大提高证通云资源池产品“云栈”的资源利用率,缩短虚机与容器系统启动与迁移的时间,提升系统效率。在数据并行处理上任务调度算法与模型上的研究工作直接用于证通云 PAAS 产品“云台”以及大数据平台产品“云数”,极大提升了其在处理海量数据和高并发访问时的效率,且降低了数据中心能耗。