科创中国

本发明适用于图像处理领域，提供了一种图像的表示和处理方法及装置，该方法包括：在待表示图像中提取至少两种类型的局部特征；根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型；根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，并将局部特征的编码进行概要，获取所述图像的多视角超向量表示。通过获取的多视角超向量,可用于分类器训练以及图像的检索。由于本发明得到的多视角超向量表示为对不同类型的局部特征的共享信息和独立信息进行编码，可以使得编码后的图像信息完整的同时，也不会出现冗余，从而能够显著提高图像的编码效果。

一种图像的表示和处理方法，其特征在于，所述方法包括：在待表示图像中提取至少两种类型的局部特征；根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型，所述混合独立信息分解模型包括不同类型的局部特征中的共享信息和独立信息；根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，并将局部特征的编码进行概要，获取所述图像的多视角超向量表示；所述混合独立信息分解模型为：p(x,y)=Σkωkp(x,y

在对图像(包括图片以及视频等媒体数据)进行分类或者检索时，需要在待分类或 者检索的图像中提取用于描述图像的局部图像特征信息，对所述局部图像特征进行编码， 以对所述图像进行表示，便于对图像的分类和检索。对于图片可由变置换特征(SIFT)、梯度 方向直方图（HOG)等描述，对于视频可由H0G、光流直方图（HOF)等描述。

[0003] 此前的研究发现，不同类型的局部特征从不同方面(不同视角）描述图像，它们之 间存在一定的互补性。而且通过具有互补性的不同类型的局部特征有助于提高图像的分类 和识别的效果。

[0004] 目前对图像的不同类型的局部特征处理方法一般为：首先在图片中分划局部区 域，然后根据这些局部区域在原始帧中提取梯度方向直方图等特征。对特征进行融合时，包 括早期融合法和后期融合法，其中早期融合法是，将所有的局部特征串联形成一个长特征 向量进行编码和聚合，以形成中层的图片表示;后期融合法是，将单种局部特征分别进行编 码和聚合，形成多个中层图片表示方法，然后将中层表示串联或者在单个特征得到分类得 分后，进行加权融合，最后将中层图片表示输入至分类器中进行分类。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

在本发明实施例中，通过提取待表示图像中的至少两种类型的局部特征，联合建 立包括不同类型的局部特征的共享信息和独立信息的混合独立信息分解模型，并根据所述 混合独立信息分解模型对不同类型的局部特征的共享信息和独立信息进行编码，得到图像 的多视角超向量表示。由于本发明得到的多视角超向量表示为对不同类型的局部特征的共 享信息和独立信息进行编码，可以使得编码后的图像信息完整的同时，也不会出现冗余，从 而能够显著提高图像的编码效果。

技术合作

本发明实施例通过提取待表示图像中的至少两种类型的局部特征，联合建立包括 不同类型的局部特征的共享信息和独立信息的混合独立信息分解模型，并根据所述混合独 立信息分解模型对不同类型的局部特征的共享信息和独立信息进行编码，得到图像的多视 角超向量表示。由于本发明得到的多视角超向量表示为对不同类型的局部特征的共享信息 和独立信息进行编码，可以使得编码后的图像信息完整的同时，也不会出现冗余，从而能够 显著提高图像的编码效果。

本发明实施例图4所述图像的表示和处理装置与图1、图2以及图3所示的图像的表 示和处理方法相对应，在此不作重复赘述。

[0102] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。