科创中国

电子信息技术,计算机及网络技术

本申请提供了一种基于深度图的语义分割方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，该语义分割方法包括：获取目标场景下的深度图像；调用预训练模型对所述深度图像进行模态转换，得到自然图像；所述预训练模型是经过训练、且具有在所述深度图像与所述自然图像之间进行模态转换的能力的机器学习模型；将所述深度图像和所述自然图像进行模态融合，以利用所述自然图像对所述深度图像进行额外图像信息的补充；针对模态融合后的图像进行语义分割，得到语义分割结果。本申请解决了相关技术中语义分割的精度和功耗难以平衡的问题。

根据本申请的一个方面，一种基于深度图的语义分割方法，包括：获取目标场景下的深度图像；调用预训练模型对所述深度图像进行模态转换，得到自然图像；所述预训练模型是经过训练、且具有在所述深度图像与所述自然图像之间进行模态转换的能力的机器学习模型；将所述深度图像和所述自然图像进行模态融合，以利用所述自然图像对所述深度图像进行额外图像信息的补充；针对模态融合后的图像进行语义分割，得到语义分割结果。 根据本申请的一个方面，一种基于深度图的语义分割装置，包括：图像获取模块，用于获取目标场景下的深度图像；模态转换模块，用于调用预训练模型对所述深度图像进行模态转换，得到自然图像；所述预训练模型是经过训练、且具有在所述深度图像与所述自然图像之间进行模态转换的能力的机器学习模型；模态融合模块，用于将所述深度图像和所述自然图像进行模态融合，以利用所述自然图像对所述深度图像进行额外图像信息的补充；语义分割模块，用于针对模态融合后的图像进行语义分割，得到语义分割结果。

根据中央建设创新型国家的总体战略目标和国家中长期科技发展规划纲要，围绕深圳市实施创新型城市战略，2006年2月，深圳市人民政府及香港中文大学友好协商，在深圳市共同建立中国科学院深圳先进技术研究院（以下简称“深圳先进院”），实行理事会管理，探索体制机制创新。经过十三年发展，深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，生物医学与健康工程研究所、先进计算与数字工程研究所、生物医药与技术研究所、脑认知与脑疾病研究所、合成生物学研究所（筹）、先进材料科学与工程研究所（筹）、前瞻性科学与技术中心），国科大深圳先进技术学院，多个特色产业育成基地（深圳龙华、平湖及上海嘉定）、多支产业发展基金、多个具有独立法人资质的新型专业科研机构（深圳创新设计研究院、深圳北斗应用技术研究院、中科创客学院、济宁中科先进技术研究院、天津中科先进技术研究院、珠海中科先进技术研究院、苏州先进技术研究院、杭州先进技术研究院、武汉中科先进技术研究院、山东中科先进技术研究院）等组成。