科创中国

行业领域

新一代信息技术产业,信息传输、软件和信息技术服务业

需求背景

深度学习被广泛应用于计算机视觉、自然语言处理、语音识别等多个领域并取得了重大突破。尤其在图像识别与分类任务中, 深度学习具备非常高的准确度, 甚至表现出了超越人类的工作能力。然而，深度学习的工作原理缺乏可解释性，其输出结果的可信度难以得到有力保障，导致在许多重要安全领域的应用受到了极大的制约。研究表明，通过对自然图像添加微小扰动所生成的对抗样本，能够有效地欺骗深度学习模型，使得深度学习模型以高置信度的方式给出错误输出。对抗样本攻击带来的安全隐患愈发加剧了深度学习模型的应用风险，引起了研究人员们的广泛关注。

需解决的主要技术难题

解决对抗样本鲁棒性、隐蔽性及生成效率之间不平衡的问题

生成高质量的对抗样本是成功实现对抗样本攻击的核心。在黑盒攻击中平衡对抗样本鲁棒性、隐蔽性及生成效率是一个极具挑战的问题。设计高效生成强鲁棒性、隐蔽性的对抗样本方案，将为探究深度学习分类器所面临的安全隐患提供方向。

期望实现的主要技术目标

a.在现有的对抗样本黑盒攻击基本原理上，引入注意力机制确定高概率生成对抗样本局部扰动区域，并采用局部搜索思想提出一种对抗样本的高效生成方案；

b.在对抗样本生成方案的基础上，采用集合的幂集概念，细化扰动像素集并生成相应的对抗样本，从攻击成功率和扰动像素集规模的角度评价对抗样本的质量，形成一种对抗样本的优化方案；

处理进度