科创中国

行业领域

高端装备制造产业,智能制造装备产业

需求背景

通过利用人工智能、深度学习和对抗攻击等多方面的知识，对基于人工智能模型的对抗性攻击进行全面系统的深入研究。针对对抗性攻击的生成机理以及模型可解释性问题、多样对抗性攻击方法及其鲁棒性问题和对抗防御中的协同策略设计问题，提出针对模型可解释性的科学分析方法以及攻击算法的鲁棒性通用评价指标和测评方法，根据人工智能模型模型的特性，提出在模型不同阶段下的攻击方框架提升攻击的鲁棒性，并针对现有防御方法的缺点提出新的统一防御框架以防御对抗攻击，在视觉识别、语音处理等不同应用场景下，使用提出的统一攻击框架和防御框架进行攻防实证。

需解决的主要技术难题

结合“线性”与“非线性”两种假设的局限性，从决策边界的角度研究对抗样本产生的机理，通过研究输入样本特征对决策边界贡献的局部解释方法研究人工智能模 型的可解释性，并提出一套通用的模型安全评估框架。其次，针对对抗攻击的不同阶段的特性，需要分别提出对抗阶段对抗攻击方法和测试阶段对抗攻击方法。然后按照应用对象的差异，分别研究数据层面的对抗防御方法和模型层面的对抗防御方 法。最后，从多个应用场景出发，分别设计攻击方案对现实应用中的人工智能模型进行攻击，验证模型的安全性。

期望实现的主要技术目标

（1）确定人工智能模型易受攻击和欺骗的漏洞，并分析产生原因和提出相应应对策略；

（2）针对典型的攻击方法给出一般化防御策略，并在不少于2种典型模型上验证其可行性；

（3）确定衡量人工智能算法安全性的通用评价指标，并在不少于3种人工智能模型上给出具体测评方法；

（4）针对典型应用场景给出针对性防御算法，在有攻击情况下防御算法的成功率下降幅度低于10%，其中对抗样本的比率不低于50%； 

（5）提供不少于3种典型模型的攻击和防御能力，针对每类模型中主流人工智能算法欺骗成功率不低于80%。

需求解析

解析单位：“科创中国”人工智能专业科技服务团（西咸新区人工智能行业协会） 解析时间：2023-11-25

张历南

陕西科友青信息技术有限公司

执行董事 ‭

综合评价

此需求足够清晰可以进行需求跟进

查看更多>

解析单位：陕西省西咸新区 解析时间：2023-09-23

李卫斌

西安电子科技大学

教授

综合评价

近年来，中国人工智能产业蓬勃发展，产业生态日趋完善、技术实力逐步增强、融合发展不断深入、安全治理备受重视，已成为助力经济转型、推动产业升级、促进社会发展的重要驱动力量。

查看更多>

处理进度