科创中国

一种高低层特征融合的注意力遥感图像描述的生成方法及系统，本发明提供的技术方案充分利用了图像浅层特征的局部细节信息和高层特征的全局语义信息，给予了传统的注意力机制全局和局部双意识，从而更准确理解图像所表达的语义内容，以及该语义内容与自然语言句子之间的相互关系，进而为遥感图像生成内容准确的自然语言句子描述。

针对遥感图像描述生成中特征表示全面的问题，提出高低层特征融合的注意力机制，能够为遥感图像生成内容准确的自然语言句子描述。针对全局信息缺失问题，提出图像浅层特征的局部细节信息和高层特征的全局语义信息融合的方式，给予了传统的注意力机制全局和局部双重意识。针对高低层特征融合的问题，仅通过采用一个分类网络便可以实现高低层特征融合的方式，不需要借助其他检测网络，节省计算开销和时间成本。

发明涉及深度学习和自然语言理解技术领域，尤其涉及一种高低层特征融合的注意力遥感图像生成描述方法。

本成果的牵头单位为中国科学院空天信息研究院地理与赛博空间信息技术研究部。

本发明针对遥感图像的自然语言句子对，利用编解码结构和注意力机制进行建模，充分利用了图像浅层特征的局部细节信息和高层特征的全局语义信息，给予了传统的注意力机制全局和局部双意识，从而更准确理解图像所表达的语义内容，以及该语义内容与自然语言句子之间的相互关系，进而为遥感图像生成内容准确的自然语言句子描述。

专利许可