科创中国

行业领域

新一代信息技术产业,信息传输、软件和信息技术服务业

需求背景

 新时代背景下，高质量教育和教育公平是社会共识，也是中华民族伟大复兴的重要内容，教育资源不均衡是中华民族伟大复兴务必要解决的问题。其主要表现在教育基础差，保障能力弱，特别是农村、边远、贫困、民族地区优秀教师资源少、优质教学资源少，教育质量总体偏低，难以满足人民群众接受良好教育的需求，难以适应经济社会发展对各类人才的需要。5G、XR、人工智能、云计算等新一代信息技术在教育中的应用、信息技术与课程教学融合创新已成必然趋势，新兴技术支持下的智慧教育构建是现阶段国家教育现代化的战略目标。通过5G+XR技术，可打造虚实融合的混合学习空间，极大提升知识获取和技能训练的效率；能便捷的创设沉浸式、真实性的学习情境，为参与者带来全新的教育教学沉浸式体验，促进师生的创新学习素质的提升。

西安飞蝶虚拟现实科技有限公司拥有虚拟现实行业10多年的核心技术积累，形成了多项发明专利，特别是基于正视人脸多姿态生成方法的远程沉浸式教学核心技术、算法方面有一定的突破，解决了远程虚拟人（多姿态老师）与远程异地多学生的“面对面”互动式教学问题，加速陕西省区域内的教学方式互动性和智能化，为偏远贫困地区优质教师资源的“教育资源均衡”困局带来新设施、新应用和新生态。

需解决的主要技术难题

我司采用课件跨平台方式设计、支持indows,android,ios,VR,AR,MR等终端平台在课件渲染效果上，采用软件方式编写，用户无需离线对资源进行跨平台转换，导出导入操作即可在终端进行无缝转换，提升用户体验效果。系统架构采用非结构化数据库和跨平台语言设计，支持X86系统和ARM架构的硬件平台，提供了SDK开发包支持第三方应用接入和开发。采用分布式集群架构，抗攻击和稳定性高。

解决真实三维模型制作难度，降低制作成本。

1)卷积训练处理效率：采用CNN网络基元算法，快速过滤分析复杂网络结构，采集映射，减低训练时间，提高效率，提升体验。

2）私有化云渲染封装技术：依托于CLOUND XR技术，实现对局域网内GPU集群渲染，达到3维表现效率最大利用率。

3）编程人工智能学习技术：通过对数据的洞察，标签采集，映射关系建立，构建特征工程，采用模型评估算法对比，迭代创新学习过程。

5）云渲染集群处理效率： 满足大用户量，集群硬件的同时，通过智能算法实现、优化(DrawCall等)对云渲染指令的请求响应效率。

6）高速并行采样技术：利用单片数据转换器的芯片能够有效的提高采样频率的提高，这种芯片的缺点是分辨率角度，价格较高，对数据收集有着较高的要求。基于此，本文提出了并行采样的方法，使多片低采样率的芯片并行，从而获得高频数据采集的效果。

期望实现的主要技术目标

1、远程互动情境人脸识别：标准人脸库，一般会提供68个特征点，及位置，偏正信息，通过深度学习算法，卷积网络训练，对（特征点，面部-查找，相似点计算，比对，定位，提取，3维转换，嵌入），生成3维数据入库， 再提取顶点，面，骨骼信息，自动生成实时渲染引擎可识别的通用模型，自动适配表情库,表情包。通过光学摄像头，对面部（特征点）实时追踪，计算，通过引擎远程同步实现产品姿态捕捉，远程互动。

2、XR数字资源再生技术：3维世界最基础元素（点，线，面等）通过各种形式组合，融合（顶点计算，三角面融合，遮挡处理，层级差分，shader适配），贴图融合，通过计算机输出最终图像的算法实现的集合，通过三维渲染引擎快速生成XR教学资源。

3、算法领先：基于高维 LBP、PCA、LDA 联合贝叶斯、度量学习、迁移学习等全面算法，训练优化模型，达到高性能低时延。

4、AI-DevOps：数据、模型、代码，开发、训练、服务，提供一站式多维度AI-DevOps落地支持；

5、版本化模型管理：支持多种模型框架，Keras、PyTorch、Caffe、MXNet等多种框架，以及GPU训练加速及多机多卡分布式训练；

6、支持多框架：全方位支持TensorFlow、PyTorch、Caffe、MXNet等多种深度学习和机器学习框架，满足人工智能精准教学各类需求；

处理进度