您所在的位置: 成果库 一种场景语义分割方法、系统、终端设备及可读存储介质

一种场景语义分割方法、系统、终端设备及可读存储介质

成果类型:: 发明专利,新品种,新技术

发布时间: 2022-10-08 13:50:17

科技成果产业化落地方案
方案提交机构:成果发布人| 宋莹 | 2022-10-08 13:50:17

本发明公开了一种场景语义分割方法、系统、终端设备及可读存储介质,本发明的输入是三维室内场景模型,输出是对场景图的语义分割结果。首先,需要对三维场景提取人物运动的轨迹特征。在这一步中,需要在场景的可行走区域上均匀采集人与场景的交互点,然后使用导航网格算法模拟计算两两交互点的路径距离。在得到两两交互点的路径距离之后,计算每一个交互点的连通性。交互点和交互点之间,可通过基于连通性的权重值来构建交互点场景图。最后,使用归一分割(normalized cut)算法来对带权重的场景图进行分割,从而完成三维场景的语义分割。

导航网络生产模块,用于对输入的三维模型场景进行三角化处理,生成若干导航网格;采点模块,用于将若干导航网络的并集构成可行走区域,在可行走区域进行均匀采点,得到样本点坐标,所有样本点构成场景的交互点集;最短路径计算模块,用于采用A-Star算法和拐角点算法在导航网格中计算模拟路径,分别计算所有交互点集中样本点两两之间的最短路径;连通性数值计算模块,用于根据最短路径计算得到每一个样本点的连通性数值;相似度矩阵构建模块,用于根据每一个样本点的连通性数值,计算每条边上的权重,从而构建出无向图的相似度矩阵;语义分割模块,用于使用归一分割对无向图进行场景语义分割。

室内三维场景是三维虚拟世界的重要组成部分,不仅可以用于虚拟现实、影视动画中对环境的呈现,而且是机器人、游戏、教育等有交互需求的应用中承载交互的主体。面对大量的三维场景数据,如何对其进行表征和分析,以利于数据的理解,是一个重要的研究方向。

早期的场景表示和分析方法主要基于对场景几何的分析。最典型的思路是通过建立场景图来表示场景中的物体及不同物体之间的空间关系。根据空间关系的紧密程度,可以分为简单空间关系表示和复杂空间关系表示。

为了对场景的整体或局部的功能进行分析,研究者将人引入场景中,通过对人的信息与场景信息的联合建模分析来理解场景。对环境的承载功能的相关研究为这类场景分析方法奠定了理论基础。后续的研究包括在二维场景中添加合理的人物交互,RGB-D场景的分析。

上述工作中,交互特征主要是通过静态人体姿态和周围环境几何来表示的。这种仅考虑静态交互的方法没有对场景中的运动特征进行编码,这导致算法难以分析出场景的某些不合理布局。例如,场景的某一部分被封闭而无法进入;或者场景中心某一必经之路过于狭窄。

本发明在三维场景理解领域有着广泛的应用前景。

发明人:赵玺 杨新宇 武晋吉 向远航 张博闻

西安交通大学是我国最早兴办、享誉海内外的著名高等学府,是教育部直属重点大学。西迁以来,一代代交大人扎根西部、服务国家,为西部发展和国家建设作出了卓越贡献,以实际行动铸就了第一批纳入中国共产党人精神谱系的西迁精神。201712月,习近平总书记对学校15位老教授来信作出重要指示。在2018年新年贺词中,习近平总书记再次提到西安交大西迁的老教授2020422日,习近平总书记来校考察并发表重要讲话,强调西迁精神的核心是爱国主义,精髓是听党指挥跟党走,与党和国家、与民族和人民同呼吸、共命运,勉励师生在新时代创造属于我们这代人的历史功绩,给全校师生以巨大关怀和极大鼓舞,为学校新时代建设中国特色世界一流大学提供了根本遵循和行动指南。

本发明通过导航网格算法来模拟人物运动路径,计算出场景中交互点与交互点之间的路径长度,进而计算出每个交互点的连通性,模拟轨迹与连通性指标,包含了丰富的场景与人物的交互信息。利用模拟轨迹和连通性,本发明得以对复杂的三维场景模型的人与环境的交互信息进行有效的提取,从而简化了原始数据,并从中抽取出了对场景分割有用的关键信息,利用样本点,连通性和路径距离,简单而高效地将场景表示为场景图,最后采用基于归一分割的图分割算法,从而完成对场景图的语义分割。

为促进科学技术产业化的发展,希望能够充分利用对方广泛的市场资源优势和科研平台能力,实现技术研发与市场营运的直接联盟。为使新技术尽快转化为生产力,希望实行技术合作开发联营生产和产值提成的方式紧密合作。希望合作方能够负责组建生产公司及工商、税务经营手续和必要的启动资金;在双方合作期间,我方对该产品不断创新和改进。

企业实施科技成果转移转化,采取以下方式并达到相应的目的:

一是开发新的产品或服务,以培育新的市场竞争力;

二是开发新的工艺,以提质、降本、降耗、增能、增效;

三是完善管理,优化流程,以强化对企业生产经营的控制力;

四是进入新的市场,以扩大市场规模;

五是培育新的能力,以取得新的优势;

六是完善经营管理的体制机制,以提高效益。

希望与企业、科学技术研究开发机构、高等学校和其他组织建立优势互补、分工明确、成果共享、风险共担的合作机制,按照市场机制联合组建研究开发平台、技术创新联盟、创新联合体等,协同推进研究开发与科技成果转化。