科创中国

电子信息技术

在材料科学、医学、电子器件、显微机械等领域的研究中，研究人员通常利用显微镜拍摄显微图像，进而观测微观组织或显微结构，并利用图像分析方法提取图像中感兴趣区域或目标的特征，最终进行材/器官组织分析或器件质量评估等。目前，在图像分类、图像目标检测、图像分割等任务中，基于卷积神经网络的图像分析方法在分析准确和效率上取得了突破性的成果。但在实际操作过程中，该方法需要大量的人工标注数据供算法训练模型，造成该方法泛化性能低下，难以准确快速地学习新图像的特征。 本发明要解决的技术问题是提供一种显微图像数据增强方法及装置，以解决现有技术所存在的显微图像分析任务中需要大量人工标注的问题。为解决上述技术问题，本发明实施例提供一种显微图像数据增强方法，包括：生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

本发明提供一种显微图像数据增强方法及装置，能够自动标注图像。包括：生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，训练图像分析模型。 1.生成模块，用于生成真实显微图像的虚拟图像；所述生成模块，用于通过模拟方法生成真实显微图像的虚拟图像；其中，所述模拟方法包括：顶点运动模拟、相场模拟、基于波茨模型的三维蒙特卡罗模拟； 2.迁移模块，用于通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；包括：第一获取单元，用于获取真实显微图像作为参考图像；第一训练单元，用于构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；合成单元，用于将虚拟图像输入到训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。 3.训练模块，用于根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

团队负责人班晓娟教授，博士生导师，研究领域为人工智能、自然人机交互、三维可视化技术。主持或参与多项国家级或省部级项目。曾获得2011年获教育部新世纪优秀人才支持计划；2012年获北京市教育教学成果一等奖；2014年获中国学位与研究生教育学会研究生教育教学成果二等奖。兼任中国人工智能学会常务理事，暨智慧医疗专业委员会主任 中国计算机学会人机交互专业委员会常务等社会职务。马博渊副教授，硕士生导师，研究计算机视觉、计算材料学、智慧医疗等领域。

点击查看