科创中国

行业领域

电子信息技术,通信技术,信息安全技术

需求背景

1. GPU的普及和性能优势：GPU因其并行处理能力和高内存带宽，在AI训练和推理中表现出色。随着GPU在计算性能和内存容量上的不断提升，以及GPU编程技术的不断发展，GPU已经成为了AI领域中主流的计算硬件。
2. AI模型的复杂性和计算需求：随着AI技术的不断发展，AI模型越来越复杂，需要的计算资源也越来越多。传统的CPU计算方式已经无法满足AI模型的高效运行需求，而GPU的计算能力可以大大提高AI模型的训练和推理速度。
3. 深度学习框架的普及和开源：深度学习框架如TensorFlow、PyTorch等在AI领域中得到了广泛应用。这些框架提供了丰富的API和工具，使得开发者可以更加方便地构建、训练和部署AI模型。同时，这些框架还支持GPU加速，使得AI模型的训练和推理可以更加高效。

需解决的主要技术难题

1. 模型优化：对于GPU模型，需要进行专门的优化，以适应不同的硬件和软件环境，提高模型的训练和推理效率。这需要对GPU架构和算法有深入的理解，同时还需要掌握相关的优化技术。
2. 数据处理：在AI训练和推理过程中，数据处理是一个重要的环节。对于GPU模型，需要处理大量的数据，包括输入数据和输出数据。这需要设计高效的数据处理流程，同时还需要考虑数据存储和传输的问题。
3. 算法设计：GPU模型需要针对不同的应用场景设计合适的算法，以满足不同的需求。这需要对算法设计和优化有深入的理解，同时还需要掌握相关的编程技术。
4. 系统稳定性：由于GPU模型需要处理大量的数据和高性能的计算，因此需要保证系统的稳定性和可靠性。这需要采用高效的系统架构和稳定的编程技术，同时还需要对系统进行严格的测试和优化。

期望实现的主要技术目标

1.支持数据标注功能，包括视频、图像、雷达点云、语音、文本、医疗DCM图像等标注处理；

2.训练算法以Docker镜像方式封装，支持其他第三方算法厂家的算法镜像接入使用；

3.训练过程可暂停、继续、终止，训练过程可视化展示；

4.训练结果分析以及效果展示；

5.一键部署功能，支持模型一键远程部署到各种平台，例如瑞芯微、算能等ARM平台；

6.平台支持私有化部署和Saas方式部署；

7.能够支持大型模型的多卡多路并行推理，要求并行路数不低于50路且推理速度在100ms/token以下；

处理进度