科创中国

       在材料科学、医学、电子器件、显微机械等领域的研究中，研究人员通常利用显微镜拍摄显微图像，进而观测微观组织或显微结构，并利用图像分析方法提取图像中感兴趣区域或目标的特征，最终进行材/器官组织分析或器件质量评估等。目前，在图像分类、图像目标检测、图像分割等任务中，基于卷积神经网络的图像分析方法在分析准确和效率上取得了突破性的成果。但在实际操作过程中，该方法需要大量的人工标注数据供算法训练模型，造成该方法泛化性能低下，难以准确快速地学习新图像的特征。

       本发明要解决的技术问题是提供一种显微图像数据增强方法及装置，以解决现有技术所存在的显微图像分析任务中需要大量人工标注的问题。为解决上述技术问题，本发明实施例提供一种显微图像数据增强方法，包括：生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

       本发明提供一种显微图像数据增强方法及装置，能够自动标注图像。包括：生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，训练图像分析模型。

1.生成模块，用于生成真实显微图像的虚拟图像；所述生成模块，用于通过模拟方法生成真实显微图像的虚拟图像；其中，所述模拟方法包括：顶点运动模拟、相场模拟、基于波茨模型的三维蒙特卡罗模拟。

2.迁移模块，用于通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；包括：第一获取单元，用于获取真实显微图像作为参考图像；第一训练单元，用于构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；合成单元，用于将虚拟图像输入到训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。

3.训练模块，用于根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

       图像是人类认知世界的主要载体，显微图像处理是利用计算机处理技术对显微图像预处理去噪、分割、增强、特征提取、识别等方法来达到所需结果的技术。显微图像处理技术兴起于20世纪70年代，起初一些研究人员将显微图像处理技术应用于生物医学领域，有效降低图像噪声，提高图片辨识度，但鲁棒性较差。也有学者将其应用于高精度表面检测等精密仪器混合测量，实现了对微小零件表面质量的非接触无损检测，但准确率达不到工业需要。在图像增强领域，有两个关键的任务：图像去噪与图像超分辨率重建。本技术能够提供大量自动语义标注的训练样本和图像语义分割预训练模型，只需要少量真实训练样本，即可获得较大的性能提升。本技术可以广泛应用于材料化工科学、生物医药医学、仪器仪表检测、地质工程等领域。

       团队负责人班晓娟教授，博士生导师，研究领域为人工智能、自然人机交互、三维可视化技术。主持或参与多项国家级或省部级项目。曾获得2011年获教育部新世纪优秀人才支持计划；2012年获北京市教育教学成果一等奖；2014年获中国学位与研究生教育学会研究生教育教学成果二等奖。兼任中国人工智能学会常务理事，暨智慧医疗专业委员会主任 中国计算机学会人机交互专业委员会常务等社会职务。马博渊副教授，硕士生导师，研究计算机视觉、计算材料学、智慧医疗等领域。

本技术的经济效益主要体现在用智能代替人工所节省的人工成本，以及节省图像采集时间而产生的时间成本。

本发明实施例所述的显微图像数据增强方法，生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型；这样，基于风格迁移的显微图像数据增强方法，提高了标注图像获取速度，并且自动标注结果准确无误，不存在人工标注中的误判问题，能够在满足机器学习算法对大量训练样本需求的同时，显著降低用于图像分析模型训练的真实显微图像的数量，从而减少真实图像采集所需时间和人工成本。

合作方式：技术许可

目前处于何种研发阶段：小批量生产

推广应用情况：已在材料等企业应用。

期望技术转移成交价格（大概金额）：面谈。