随着社会科学技术不断发展,无论是在生产生活还在科研试验中,产生数据信息量加大,然而对数据存储系统的传输速度、功耗、可靠性要求却越来越严格。同时基于不同测试需求,试验环境不尽相同,许多恶劣环境中的数据测试成为现在存储测试的主要任务与难点之一。大数据处理面临的首要问题是如何有效地存储规模巨大的数据。无论是从容量还是从数据传输速度,依靠集中式的物理服务器保存数据是不现实的,即使存在一台设备可以存储所有的信息,用户在一台服务器上进行数据的索引查询也会使处理器变得不堪重负,因此分布式成为这种情况下很好的解决方案。天津市瑞晟电子科技有限公司在数据存储方面深耕多年,一直致力于大容量数据存储的研究,自主开发了大容量数据存储系统及测试系统,海量数据采用分布式存储的方式存储数据,采用冗余存储的方式保证存储数据的可靠性,系统兼容常用存储设备,具有高可用、高可靠和经济性。
1.兼容底层多样化软硬件平台。大容量数据存储系统可以适配鳃鹏、飞腾、海光、兆芯、申威等国产芯片,支持全闪存储、混闪存储、NVMe 协议,存储软硬件的兼容使得大容量数据存储系统可以选择更多的软硬件技术,充分利用新型软硬件红利的同时,也让用户享有更多的选择权。
2.存储引擎的优化。存储引擎是大规模数据存储系统中的重要组成部分,通过优化存储引擎可以提高数据的读写速度。存储引擎的优化主要从三方面进行,一是索引优化, 选择合适的索引类型和字段,尽量减少冗余索引的存在;二是缓存优化,实现对热点数据实时缓存,保证频繁访问的数据能够快速读取;三是文件系统优化,通过文件的类型对文件进行分片存储提高文件系统的读取速度。
本成果主要完成对高速、大容量的多路传输数据的实时采集接收和可靠存储,多通道高速率数据存储装置用于记录应用数据,有效地解决了巨大数据的存储和传输问题,系统可以适配鳃鹏、飞腾、海光、兆芯、申威等国产芯片,兼容常用存储软硬件使得大容量数据存储系统推广应用前景可期,用户可以选择更多的软硬件技术完成巨大数据量的存储和快速传输。
天津市瑞晟电子科技有限公司成立于2018年06月28日,地位于天津市东丽区新立街道,以电子设备技术开发、转让、推广和数据处理与存储服务为其核心业务,2021年通过天津市高新技术企认证,2022年入选天津市技型中小企业库,2023年荣获。自2019年以来,先后获得测试设备目标模拟器控制软件、训练设备智能操作系统、设备仿真操作训练实时跟进软件、仿真设备测试实训平台、设备测试仿真分析软件等16项软件著作权,申请和获批一种稳定性高的电气机柜、一种FPGA板卡测试装置、一种GLINK通信设备柔性测试平台、一种GLINK通信设备测试安装装置、一种稳定抗干扰型PLC控制机柜等20项实用型技术专利。为适应大数据和人工智能时代,公司主攻大容量数据存储,自主开发了大容量数据存储系统及测试系统,以满足大数据存储需求。
大容量数据存储系统及测试系统,海量数据采用分布式存储的方式存储数据,采用冗余存储的方式保证存储数据的可靠性,系统兼容常用存储设备,具有高可用、高可靠和经济性。大容量数据存储系统是应对数据海洋时代挑战的有力武器,具有化繁为简的管理能力,更加灵活、智能且具有更好的可靠性。作为新型信息管理的基石,随着人工智能技术的广泛应用,除产生经济效益外,还会带来行业的变革。
本成果可支持技术转让,技术合作,技术咨询、投资入股等多种合作方式。