科创中国

行业领域

新兴行业

需求背景

目前采取的主要措施是针对不同的攻击方法采取不同的防御策略对模型安全进行保护。针对常用人工智能模型，研究新型攻击生成机理，设计迁移性强的自适应攻击方法，以攻促防；其次，针对现有常见的攻击形式如后门攻击、对抗样本攻击、模型窃取等攻击，设计通用鲁棒的防御策略；最后，设计可靠的模型鲁棒性评估指标，量化评估各模型对于不同攻击的防御能力，精准衡量模型鲁棒性。在保障模型性能的基础上，研发人工智能对抗攻防平台，在多应用场景、复杂算法环境下研究人工智能鲁棒算法技术，全面提升人工智能模型的安全性。

需解决的主要技术难题

针对常用人工智能模型，研究新型攻击生成机理，设计迁移性强的自适应攻击方法，以攻促防；其次，针对现有常见的攻击形式如后门攻击、对抗样本攻击、模型窃取等攻击，设计通用鲁棒的防御策略；最后，设计可靠的模型鲁棒性评估指标，量化评估各模型对于不同攻击的防御能力，精准衡量模型鲁棒性。在保障模型性能的基础上，研发人工智能对抗攻防平台，在多应用场景、复杂算法环境下研究人工智能鲁棒算法技术，全面提升人工智能模型的安全性。

针对现有常见人工智能模型，试下不少于3种自适应攻击方法，实现攻击成功率高于70%；针对训练阶段和测试部署阶段的典型攻击方法给出通用防御策略，并在图像、文本、无人机等不少于3种应用场景下验证可行性，实现在有攻击情况下防御算法的成功率下降幅度低于10%；构建人工智能模型鲁棒性评估指标体系，提出不少于1个通用的鲁棒评估指标。

期望实现的主要技术目标

本项目期望能在人工智能模型鲁棒性研究与关键技术方面取得突破，将这些理论与技术应用到各场景下进行实证研究，同时培养一批青年科研人才。同时，对已有的各种攻击方法具有鲁棒性，保障各领域的安全。

处理进度