科创中国

行业领域

电子信息技术

需求背景

随着人工智能技术的普及，越来越多的系统和服务依赖于人工智能算法，包括金融、医疗、交通等领域的应用。然而，人工智能本身也面临着安全威胁，任何与人工智能相关的安全问题都可能对社会和经济产生重大影响。因此，研究人工智能13自身的安全技术，提高算法的鲁棒性、抵御攻击能力，对于已经广泛应用的人工智能系统而言是一个重要课题。

需解决的主要技术难题

1.研究人工智能自身安全的攻击和防御机理。分析和研究数据、模型在训练和推理阶段面临的不同类型的攻击威胁，如对抗攻击、模型篡改等，并在此基础上，设计相应的恶意样本检测、算法鲁棒性评估等防御机制，增强人工智能算法的鲁棒性。

 2.研究人工智能系统的隐私泄露风险和隐私保护技术。分析人工智能模型中的隐私泄露问题，如模型反演、模型窃取等；研究隐私保护的技术手段，包括差分隐私、同态加密等，确保在数据处理、模型训练和推理过程中用户和模型隐私安全。 

3.研究模型可解释性。可从两个角度选择研究：一是研究人工智能模型的可解释性方法，解释模型的决策过程和关键因素，二是研究基于可解释性的人工智能攻防技术或攻防技术自身的可解释性。 4.研究人工智能模型的公平性问题。研究数据集中可能存在的各类偏见类型，以及针对不同偏见类型的公平性度量指标、纠偏技术。

期望实现的主要技术目标

1.研制 AI 模型鲁棒性增强技术验证原型系统1套，并提供源代码。

2.研制 AI 模型隐私性保障技术验证原型系统1套，并提供源代码。

3.提供人工智能模型可解释性相关技术1套，并提供源代码。

4.提供人工智能模型公平性度量指标或纠偏技术1套，并提供源代码。

需求解析

解析单位：“科创中国”工业互联网产业科技服务团（中国计算机学会） 解析时间：2023-10-12

杨平乐

上海理工大学

副教授，智能控制与数据处理研究所副所长

综合评价

1. 研究人工智能自身安全的攻击和防御机理：研究这些攻击并设计相应的防御机制，可以提高人工智能算法的鲁棒性和安全性。这方面的研究有很高的实用价值，可以促进人工智能在实际应用中的安全性。 2. 研究人工智能系统的隐私泄露风险和隐私保护技术：研究隐私保护技术，如差分隐私和同态加密等，可以保护用户隐私和模型安全。这方面的研究不仅有很高的理论价值，也有很强的实用价值，可以促进人工智能在实际应用中的隐私保护能力。 3. 研究模型可解释性：研究可解释性方法和技术，可以解释模型的决策过程和关键因素。这方面的研究有很高的理论和应用价值，可以促进人工智能在实际应用中的可解释性和可信度。 4. 研究人工智能模型的公平性问题：研究各种偏见的类型和纠偏技术，可以解决模型的不公平性问题。这方面的研究有很高的理论和应用价值，可以促进人工智能在实际应用中的公平性和准确性。 总之，上述技术需求的研究对于推动人工智能领域的发展和实际应用具有重要的意义和价值。这些研究不仅有很高的理论价值，也有很强的实用价值，可以促进人工智能在实际应用中的安全性、隐私保护、可解释性和公平性的提高。

查看更多>

处理进度