科创中国

未来马赛克战可分为红方指挥控制中心、红方无人机防卫部队、蓝方地面部队、蓝方空中部队。蓝方为攻击红方指挥控制中心，需要通过迂回穿插突破红方防御网，而红方无人机群需要不断调整巡航策略以实现有效防御。根据强化学习训练模型对战场环境进行建模，将红方无人机抽象为障碍物，蓝方坦克抽象为智能体，将整个任务转化为障碍物动态变化的迷宫问题，从而构建红蓝对抗体系数字空间，支撑未来数字孪生战场建设。首先以蓝方地面坦克部队视角探索博弈过程。博弈第一阶段，考虑红方无人机定速巡航时蓝方完成穿插任务的方式。此时蓝方基于Gym构建强化学习训练环境，模拟坦克和无人机的运动，基于PARL框架进行编码，使用策略梯度算法进行训练和测试，最终神经网络收敛并得到正确的穿插路径。博弈第二阶段，考虑红方如何调整巡航策略以对抗人工智能算法。此时引入量子防御策略，量子防御的核心是基于自然随机数决定是否移动，此时环境表现为障碍物无规律移动，不再具有马尔可夫性，蓝方无法应用神经网络进行求解。将量子防御应用于真实战场，表现为红方无人机随机调整巡航速度，整个机群不再保持稳态，形成动态变化的量子防御体系，从而对抗蓝方人工智能算法。博弈第三个阶段，

亮点1：应用强化学习解决复杂动态环境下的区域穿插问题 将红蓝对抗中的典型场景抽象为智能体序列决策的马尔可夫过程，采用强化学习进行训练，最终获得具有一定决策能力的模型 亮点2：设计战损条件下的分级防御机制 提出一种战损条件下的量子防御策略，在量子防御策略基础上提出自定义随机策略，在保证随机性的同时保证可控性 亮点3：引入先进人工智能算法支持未来数字孪生战场的构建 通过在红蓝对抗中引入先进的人工智能算法，为未来数字孪生战场的构建提供算法支持，加速未来战场中指挥策略的改变和更新

蓝方：① 战前准备期间，蓝方模拟红方无人机所有可能的位置组合，基于每种情形进行训练。如果神经网络收敛，则保存训练参数到模型库中；如果神经网络不收敛，则对该位置组合进行可解性标记。② 进入战场后，蓝方获取红方无人机群当前位置，实时传输给蓝方坦克，蓝方坦克基于模型库，根据红方无人机的当前位置判断环境是否可解。如果可解，则使用知识库中的神经网络参数执行穿插路径规划；如果不可解，需主动攻击红方巡航无人机，促成可解环境。 

 红方：① 按照分级防御机制，初始采用常规防御策略，当防御被突破时，切换至量子防御策略，此种策略能够对抗人工智能算法，使得神经网络无法收敛，从而实现有效防御。② 当本方地面部队需要通过防区时，采取可控随机策略执行非完全的量子防御策略，对抗人工智能算法的同时保证己方的正常通行。 

 太空战：在太空战立体空间中，坦克变为蓝方飞行器，无人机变为红方飞行器，红蓝双方将在三维立体空间展开进行对抗和博弈，如果红方飞行器采用常规巡航策略，那么蓝方可基于强化学习得到穿插路径，如果红方使用量子巡航策略，则能对抗AI算法实现有效防御。

团队是一支来自国内顶尖院校的博士、硕士组成的高水平产研结合青年骨干队伍，在计算机视觉、强化学习、知识图谱、语音识别等领域积累了丰富的技术沉淀，获得多项专利，同时打造了面向航空制造的AI服务平台。

现阶段将未来战场抽象为一个障碍物动态变化的迷宫问题，障碍物代表无人机，在战场中不断移动，地面坦克初始位置在迷宫入口，目标点在迷宫出口，整个问题抽象为坦克怎样避开巡航的无人机，在最短时间（最短路程）内到达迷宫出口。基于此模型构建强化学习训练环境，通过设计不同博弈阶段的巡航策略、穿插策略，实现人工智能算法在实际场景中的应用。限于算力要求，当前的迷宫环境为10*10的二维环境，未来的规划是：基于已经完成的概念验证，结合真实战场的关键要素，在未来高算力的支撑下，利用深度强化学习探索复杂三维立体空间中量子防御策略的应用效果。

基于已经完成的概念验证，结合真实战场的关键要素，在合作方高算力的支撑下，利用深度强化学习探索复杂三维立体空间中量子防御策略的应用效果，开发三维仿真软件系统，共享技术成果和收益。