科创中国

行业领域

新一代信息技术产业,互联网与云计算、大数据服务

需求背景

在日常使用各类管理系统时，经常会碰到数据导出excel的需求，现有针对数据导出都是需要开发部门花费比较长时间来定制开发。现有导出excel技术处理一般有以下两种：1)采用定制导出的方式，即写程序查询出要导出来的数据，逐行将数据写入到导出文件中。如使用JAVA导出excel时，一般是使用jxl或者poi等第三方操作excel的JAR包来生成，基本的导出处理过程都是需要开发人员根据需求去写程序读取数据后导出生成excel文件。但是这种方法的导出开发工作量大，需要根据每次导出需求编写不同的程序读取数据后执行导出，无法做到配置自动化。2)采用模板导出的方式，即先定义好导出的文件模板，然后通过程序查询出要导出的数据，根据导出模板中的变量占位符，渲染生成导出文件。但是这种方法的导出处理速度慢，由于导出的处理逻辑跟正常的业务逻辑是在同一个运行进程里，当导出大批量数据时，会互相影响，导致处理速度慢甚至是内存溢出等问题。

需解决的主要技术难题

通过对导出任务表达式进行解析校验后，导出数据源类型配置并对各数据源数据进行加载合并，得到导出的Excel文件，以解决现有技术中的定制导出方案无法做到配置自动化，以及模板导出方案处理速度慢的技术问题，从而通过解析校验实现配置自动化，以及通过数据源类型配置提高模板导出处理速度，进而提高多数据源数据导出方案的实用性。为了解决上述技术问题，本发明实施例提供了一种基于模板配置的多数据源数据导出系统，包括：导出表达式校验模块、数据源加载处理模块和数据导出处理模块；所述导出表达式校验模块用于获取导出任务表达式，并对所述导出任务表达式进行解析校验处理，得到校验正确的JSON表达式；所述数据源加载处理模块用于对所述JSON表达式进行解析，导出所述JSON表达式中的数据源配置，并对各数据源数据进行加载合并，得到总数据变量；所述数据导出处理模块用于对所述总数据变量进行导出，生成导出的Excel文件。

期望实现的主要技术目标

一种基于模板配置的多数据源数据导出系统，包括：导出表达式校验模块、数据源加载处理模块和数据导出处理模块；所述导出表达式校验模块用于获取导出任务表达式，并对所述导出任务表达式进行解析校验处理，得到校验正确的JSON表达式；所述数据源加载处理模块用于对所述JSON表达式进行解析，导出所述JSON表达式中的数据源配置，并对各数据源数据进行加载合并，得到总数据变量；所述数据导出处理模块用于对所述总数据变量进行导出，生成导出的Excel文件；本发明通过解析校验实现配置自动化，以及通过数据源类型配置提高模板导出处理速度，进而提高多数据源数据导出方案的实用性。

需求解析

解析单位：广东省广州市 解析时间：2024-01-16

柯锐鹏

广州市科学技术协会

部长，博士

综合评价

此描述已足够清晰以便于专家进行需求跟进，配置灵活性：评估该技术是否能够提供灵活的配置选项，以满足不同业务场景中多样化的数据源需求。例如，是否支持动态添加、删除和修改数据源配置，是否支持不同类型的数据源（关系型数据库、NoSQL数据库等）。 性能和扩展性：评估该技术在处理大规模数据时的性能表现，包括读写速度、响应时间等指标。同时也需要考虑该技术在面对增长数据量时的扩展性能力，是否可以水平扩展以应对高并发和大数据量的业务需求。 安全性：评估该技术在数据传输、数据存储和数据访问等方面的安全性能力。例如，是否支持数据加密、访问控制和身份认证等安全机制，以保障数据的机密性和完整性。 可靠性和容错性：评估该技术在故障恢复和容错机制方面的表现。例如，是否支持数据备份和恢复，是否具有自动重试和故障转移功能，以确保系统的可用性和稳定性。 易用性和易集成性：评估该技术是否易于使用和集成到现有的系统中。例如，是否提供直观的管理界面和操作流程，是否支持与常见的数据处理工具和框架（如Hadoop、Spark等）的集成。

查看更多>

解析单位：广东省广州市 解析时间：2023-08-14

柯锐鹏

广州市科学技术协会

部长，博士

综合评价

此描述已足够清晰以便于专家进行需求跟进，通过对导出任务表达式进行解析校验后，导出数据源类型配置并对各数据源数据进行加载合并，得到导出的Excel文件，以解决现有技术中的定制导出方案无法做到配置自动化，以及模板导出方案处理速度慢的技术问题，从而通过解析校验实现配置自动化，以及通过数据源类型配置提高模板导出处理速度，进而提高多数据源数据导出方案的实用性。

查看更多>

处理进度