科创中国

与人相关的视觉目标（如人脸、人体、手势等）一直是计算机视觉领域最为重要的研究对象，其智能感知技术是推动以人为中心的机器智能由感知到理解演进的重要驱动力。受制于复杂环境中人像目标视觉表观特征难建模、多维诱变因素紧耦合等难题，人像目标感知呈现关键信息不精确、属性认知不完备、动态跟踪难定位等特点。如何在无约束条件下的真实场景中高效获取人像的关键信息及关联知识，是人像目标智能感知理论和方法研究的关键。 在国家自然科学基金（61672519，61075026，6067310，61303178）、“新一代人工智能”重大项目（2020AAA0103401）支持下，项目组通过对无约束条件下人像多变表观及复杂关系的建模分析，深入探究了人像目标感知中的关键信息建模、属性知识挖掘、关联信息学习等核心问题，突破了多视角人脸定位、多姿态人脸配准、多任务属性分析、无约束身份识别等核心算法技术，在国防安全、民生经济等领域取得了广泛应用。

本成果主要科学发现如下： 1、全视角变换空间下人像关键信息感知建模基础理论：通过分析无约束条 件下人像表观与形状耦合的复杂视觉呈现，发现了全视角变换空间下人像目标 的多视角旋转不变性和全局关联约束性，通过自适应划分人像表观空间，由粗到精、逐阶分层建模人像表观形状，构建全视角人脸检测模型和跨视角、遇遮挡等条件下的关键点定位模型，进而形成全视角变换空间下人像关键信息感知建模基础理论，为人像智能感知与理解提供理论和模型支撑。 2、复杂要素耦合空间人像多属性关系挖掘与识别方法：针对人像数据内蕴的不同目标富含属性分析问题，发现了异同视觉属性间的相关及互补性，提出了有效解耦复杂要素耦合空间的人像多属性知识挖掘与分析方法，联合学习共有属性在不同领域数据空间的耦合特征，实现高精度、多任务、可扩展的丰富人像属性知识高效抽取，为人像目标深度理解提供核心算法和关键技术支撑。

项目产出的人脸识别核心算法技术目前已在国防安全、民生经济等领域已经得到了大规模实际应用，近十家企事业单位应用数据显示，无约束人像目标感知与理解的研究已取得了良好的社会效益和经济价值，并具有巨大推广潜力。其中一些代表性企事业单位及应用包括： （1）华为技术有限公司：人脸关键点定位和属性识别算法在包括华为P20等系列旗舰手机内应用，为华为产品的用户肤色反馈系统及华为产品的相关人像效果提供了技术支撑，服务千万级手机用户。在人脸特征点检测、人脸属性分析、人体姿态估计等技术领域与华为开展科研合作，这些技术在华为产品线中有明显的应用前景。 （2）蚂蚁科技集团股份有限公司：人脸识别算法在蚂蚁集团核心产品中得到应用，服务覆盖国内外1.2亿用户。算法在平台上的应用已全面覆盖端内津贴发放、资金转账等金融服务。截至目前，已累积支持150亿津贴发放。就人脸识别下游关键应用市场而言，我国人脸识别支付市场尚处于发展早期，根据数据，2019年中国人脸识别支付用户规模约1.18亿，预计到2022年将突破7.6亿，2019-2022年均复合增长率达到86.13%，行业潜力巨大。项目成果对于有效抵御非活体攻击，保障实人认证的真实性，打造鲁棒的金融风控体系具有重要意义。

本项目人员组成：本项目包含清华大学计算机科学与技术系兴军亮、中国人民解放军32802部队赵健、清华大学计算机科学与技术系艾海舟、浙江蚂蚁小微金融服务集团股份有限公司李建树、浙江蚂蚁小微金融服务集团股份有限公司赵闻飙。 本项目第一/三完成人：总体把控项目进展，制定研发计划，协调任务分工，安排工作会议和内容，保障各单位紧密联系、防范风险；发现实施过程中的问题并及时解决，保证各项工作顺利开展。 本项目第二/四完成人：项目核心技术骨干，负责牵头开展人像识别、解析等核心算法和关键技术研究，并推进理论与方法应用转化。 本项目第五完成人：项目落地指导专家，在项目执行期间与项目组成员密切交流，并针对实际需求，参与部分技术讨论，指导本项目相关成果应用转化。

本成果得到了十余名马尔奖/傅京孙奖得主以及百余位中外院士会士的正 面评价。发表CCF-A类论文57篇，其中8篇代表作相关会议期刊论文谷歌学术引用 2911 次、WoS他引657次，并获CCF-A类国际会议CVPR 2007最佳学生论文奖（国内首篇）、ACM MM 2013最佳论文奖（1/235）等；12次在包括美国国家标准与技术研究院（NIST）举办的国内外重要人像感知竞赛中夺冠；相关算法在欧姆龙公司实现硬件流片成为国际上首款大规模商业应用的人像智能感知芯片，在华为、蚂蚁集团等企业核心产品中服务超过数亿国内外用户，累积支持超过 150 亿的津贴发放、资金转账等金融服务。本项目组以一线青年科技人才为主，第一完成人获国家优秀青年基金资助、第二完成人入选中国科协青年人才托举工程等，本项目成果是我们持续深入开展相关研究的坚实基础。

项目产出的核心算法技术在国防安全、民生经济等领域得到了大规模实际应用，在近十家企事业单位实现大规模应用, 取得了良好的社会效益和经济价值，其中的一些代表性应用包括：

（1）人脸检测、跟踪等算法在欧姆龙公司实现硬件流片，成为大规模商业应用的人像智能感知芯片。

（2）人脸关键点定位和属性识别算法在包括华为P30等系列旗舰手机内应用，服务千万级手机用户。

（3）人脸识别算法在蚂蚁金服核心产品中应用，服务超过1.2亿国内外用户，累积支持超过150亿的津贴发放、资金转账等金融服务。

（4）相关算法还在广电总局、云从等单位应用。