您所在的位置: 成果库 海通证券新一代全栈自主可控分布式数据仓库

海通证券新一代全栈自主可控分布式数据仓库

发布时间: 2023-09-13

来源: 科技服务团

基本信息

合作方式: 技术服务
成果类型: 实用新型专利
行业领域:
金融业,其他金融业
成果介绍
海通证券新一代自主可控分布式数据仓库是海通证券为应对“数智时代”的挑战,基于“国产ARM服务器+国产操作系统+国产分布式数据库”全栈自主可控的解决方案。目前新一代全栈自主可控分布式数据仓库已于2019年12月31日正式上线。新系统采用华为TaiShan 服务器+GaussDB OLAP 分布式数据库的融合数据湖解决方案。公司根据业务所需,提出了可扩展的“国产ARM服务器+国产操作系统+国产分布式数据库”全栈自主可控的解决方案,采用Share-Nothing 架构,实现了性能与容量管理、数据仓库辅助管理、ETL快速开发、统一任务调度、数据服务与管理等配套系统,形成了完善的数据仓库体系。采用开放的Share-Nothing架构,实现性能与容量的按需横向扩展,支撑海通证券由于业务高速发展而快速扩张的数据需求,满足数据集市、对账单等核心数据应用;在数据仓库典型场景数据模型、对账单以及性能复杂的智能账户场景上均由较大的提升,特别是针对性能消耗最大的智能账户分析场景,数据分析时间由原先的***小时缩短至60分钟左右,性能提升最高达3倍。
成果亮点
区别于原有数据仓库的传统一体机封闭架构,新一代数据仓库软硬件架构采用开放的Share-Nothing架构,实现性能与容量的按需横向扩展,支撑海通证券由于业务高速发展而快速扩张的数据需求,满足数据集市、对账单等核心数据应用;基于鲲鹏生态的全系统组件实现HA高可靠,不仅数据与计算节点分布式部署,所有协调节点全部为多活架构,确保整个系统架构无单节点故障隐患,最大程度保障业务数据安全。通过GaussDB全并行计算 + 行列混存的特性,完美适配如交易明细查询、合规风控等复杂应用场景,实现千万级数据关联分析查询秒级响应,实现Ad-hoc报表业务需求。
团队介绍
海通证券是上海市属国有大型金融机构,也是中国资本市场成立最早、综合实力最强、金融牌照最全的证券公司之一。公司成立于1988年,始终坚持“务实、开拓、稳健、卓越”的经营理念,三十余年行稳致远,立足上海,服务全国,面向全球,经营网点遍及全球14个国家和地区,覆盖“纽、伦、东、沪、新、港”六大国际金融中心,各项经营指标长期处于行业领先地位。 截至2020年底,公司总资产达6941亿元,归属母公司净资产达1534亿元,排名行业第2;2020年公司实现营业收入***亿元,排名行业第2,归属母公司净利润***亿元,排名行业第3。公司分类评价结果持续保持行业最高水平A类AA级。
成果资料
产业化落地方案
点击查看
成果综合评价报告

评价单位:“科创中国”金融科技产业科技服务团 (中国通信学会) 评价时间:2023-11-06

徐娅

中国国际经济交流中心国经咨询有限公司规划投资处

处长

综合评价

新一代全栈自主可控企业级数据仓库的成功投产,改变了证券行业数据仓库系统长期依赖国外品牌的局面,是响应国家数字新基建和信息技术应用创新的重要举措,还将对证券行业重要信息系统实现自主可控起到示范作用。全栈自主可控的解决方案,对底层代码完全自主可控,替换国外数据库产品,避免核心技术的绑定,从软件与硬件、性能和效率、短期应用的战术最优化和长远发展的战略最优化多个角度实现了整体全面提升。此外,通过本次新一代数据仓库技术平台转型升级工作公司锻炼了一批能打硬仗的分布式数据库方面的人才。
查看更多>
更多