成果介绍
1.系统采用分布式的框架和技术路线,提供了关系数据库、优化的 HDFS文件系统、Nosql数据库、内存数据库等多种数据存储形式,解决了传统存储和数据库系统不能达到的对超大量数据(T和Р级别)应用的处理。
2.系统采用内存优化的Apache Spark计算引擎,实现了SQL引擎、内存分析服务,支持在线查询和分析类应用迁移方便、高效地运行。
3.系统实现基于授权的数据访问服务接口,为上层数据应用提供了基础支撑,同时与R语言实现整合,可以充分利用R语言中的绘图工具绘制专业的统计报表,支持多种可视化及报表生成工具Or-acle OBIEE等,使得基于大数据分析的商业决策更易被理解。
成果亮点
1.系统具有高可用性和快速故障恢复能力,并使用Kerberos/LDAP进行整合,支持细粒度访问控制、应用程序安全及数据加密,解密。
2.平台基于传统的ETL数据集成工具,结合Apache Sqoop等大数据平台的数据接入工具,形成一套完善的采集引擎方案,提高故障恢复能力,使数据汇聚的效率更高、效果更好。
团队介绍
哈尔滨向尚科技有限公司,成立于2019年,以信息系统集成为基础,大数据挖掘及应用为核心,监控及通信领域为主要服务对象,相关行业为拓展,提供物联网技术的研发及应用、软件及硬件产品的开发、大数据的挖掘及应用等服务及咨询业务。
成果资料