科创中国

      由于光学镜头自由度的限制，在成像过程中很难在一个镜头内将深度距离相差很大的物体全部聚焦，因此，通常采用基于图像处理技术的多聚焦图像融合方法，将同一场景下聚焦不同目标的多张图像中各自的清晰区域进行融合，最终获得全清晰图像。随着计算机硬件以及图像处理技术的进步，多种基于不同理论的多聚焦图像融合方法如雨后春笋般涌现，通常多聚焦图像融合方法可分为三大类：基于变换域的融合方法、基于空间域的融合方法、以及基于深度学习的融合方法。

      本项目针对多聚焦图像融合领域有标注数据获取困难且现有多聚焦图像融合算法在进行多图融合时效率较低同时在显微成像场景下图像融合时存在较严重失焦扩散效应的问题，提出了一种无监督多聚焦图像融合方法（SESF-Fuse）以及一种最大特征图空间频率融合策略（MSFIFM），实验证明，MSFIFM策略在多图融合场景下能够有效提高融合算法的效率。同时提出一种面向显微成像场景下失焦扩散效应的矫正策略，能够在保证融合图像质量的情况下，有效的降低融合结果中的失焦扩散效应。

成果亮点：

1. 具有自主知识产权，研究成果已公开发明专利：班晓娟、高鸣飞、马博渊、黄海友、印象. 一种显微成像场景下失焦扩散效应消除方法及装置：中国，202010654030.X [P]. 2020-07-08. 班晓娟、郑智予、印象、马博渊、黄海友. 一种多张多聚焦图像融合方法及装置，中国，202011036730.9 [P] 2020-09-28.

2. 技术先进性：国内先进,提出的无监督多聚焦图像融合算法被发表在PAMI上的文章《Deep Learning-based Multi-focus Image Fusion: A Survey and A Comparative Study》引用并评价为当前无监督图像融合算法中性能最好的算法；提出MSFIFM策略大幅提高多图融合效率；提出面向显微场景的失焦扩散矫正策略，提高了融合图像的质量。

多聚焦图像融合是计算机视觉领域中的一个重要分支，旨在使用图像处理技术将同一场景下的聚焦不同目标的多张图像中各自的清晰区域进行融合，最终获得全清晰图像. 随着以深度学习为代表的机器学习理论的突破，卷积神经网络被广泛应用于多聚焦图像融合领域，但大多数方法仅关注网络结构的改进，而使用简单的两两串行融合方式，降低了多图融合的效率，并且在融合过程中存在的失焦扩散效应也严重影响了融合结果的质量。

对于材料研究以及芯片制造等行业，产品的显微结构对于产品的性能具有十分重要的影响。在拍摄显微照相时由于拍摄设备只能聚焦到固定深度，且产品表面往往凹凸不平，因此无法直接拍摄得到全聚焦的图像，限制了对于产品显微结构的观测，同时由于失焦扩散效应的影响导致融合图像聚焦边界处的细节缺失，严重影响了融合效果。本技术可转移给材料研究以及芯片制造等行业，帮助研究者快速高效地获取高质量的产品显微结构图像。

北京科技大学人工智能与三维可视化实验室目前有教师6人（其中教授1人，副教授1人，讲师4人）。负责人班晓娟教授（博导）获得教育部新世纪优秀人才荣誉称号，任中国人工智能学会常务理事及智慧医疗专业委员会主任，中国计算机学会人机交互专业委员会常务委员。近年在Nature子刊，计算机学会推荐的A类顶级国际会议CHI、VR、SIGGRAPH等发表图像处理和流体模拟相关文章多篇。团队致力于计算机视觉以及图形学等领域的应用研究。主持国家级项目10余项，省部级及横向企业项目20余项，发表学术论文300余篇，发明专利10余项，软件著作权20余项，获省部级以上科研教学奖励4项。

技术优势：

多聚焦图像融合是计算机视觉领域中的一个重要分支，旨在使用图像处理技术将同一场景下的聚焦不同目标的多张图像中各自清晰区域进行融合，最终获得全清晰图像。随着以深度学习为代表的机器学习理论的突破，卷积神经网络被广泛应用于多聚焦图像融合领域，但多聚焦图像融合领域有标注数据获取较为困难同时大多数方法仅关注网络结构的改进，而在多图融合时使用简单的两两串行融合方式，降低了多图融合的效率，并且在融合过程中存在的失焦扩散效应也严重影响了融合结果的质量。针对上述问题，本项目在显微成像分析的应用场景下，提出一种无监督的多聚焦图像融合算法以及一种最大特征图空间频率融合策略，该策略通过在基于无监督学习的卷积神经网络中增加后处理模块，规避了两两串行融合中冗余的特征提取过程，实验证明该策略显著提高了多张图像的多聚焦图像融合效率。并且提出一种矫正策略，在保证融合效率的情况下可有效缓解失焦扩散效应对融合图像质量的影响。

经济效益分析：

近年来国家对芯片行业的大力投入带动了芯片微观分析行业的发展。当前有众多企业在进行芯片错误检测的工作，例如：苏试宜特芯片检测技术有限公司、深圳市科视创科技有限公司等。在芯片错误检测的过程中高质量多聚焦图像融合是很重要的一个环节，这项技术具有很大的经济效益。

合作方式：整体转让、技术许可、作价入股、合作开发

目前处于何种研发阶段：中试

样机：有

已投入成本：10万元。

期望技术转移成交价格（大概金额）：30-50万元。