需求发布 成果发布 科创案例库 揭榜挂帅
技术路演 会议展览 科创联合体 项目申报
前沿动态 科技政策 院士开讲 青托工程
科技服务团 学术资源
试点城市(园区) 双创活动周
协作站点 学会服务
问题库 项目库 开源库
English
您所在的位置: 成果库 一种深度无监督跨模态哈希检索方法

一种深度无监督跨模态哈希检索方法

发布时间: 2023-06-16

来源: 科技服务团

基本信息

合作方式： 技术许可
成果类型： 发明专利,新技术
行业领域：
电子信息技术
成果介绍
本发明公开了一种深度无监督跨模态哈希检索方法，涉及跨模态哈希检索技术领域，本发明中，将文本当作图结构的数据来考虑，将文本特征转化为图中的节点信息，通过使用GAT网络，将稀疏的文本特征进一步融合，通过注意力机制，将相关邻居节点信息以一种注意力打分机制与原始节点融合起来，同时注意力分数也表示出特征词之间联系的紧密程度，分数越高关系越紧密，并且采用自编码器将提取后的模态特征进行特征编码和特征解码，同时将图注意力网络引入跨模态哈希检索领域中，能够对语义信息不丰富的文本模态进行深度提取，丰富其高层特征信息表示，同时采用CLIP作为图像模态的视觉编码器，提取更细粒度的语义特征。
成果亮点
本发明公开了一种深度无监督跨模态哈希检索方法，涉及跨模态哈希检索技术领域，本发明中，将文本当作图结构的数据来考虑，将文本特征转化为图中的节点信息，通过使用GAT网络，将稀疏的文本特征进一步融合，通过注意力机制，将相关邻居节点信息以一种注意力打分机制与原始节点融合起来，同时注意力分数也表示出特征词之间联系的紧密程度，分数越高关系越紧密，并且采用自编码器将提取后的模态特征进行特征编码和特征解码，同时将图注意力网络引入跨模态哈希检索领域中，能够对语义信息不丰富的文本模态进行深度提取，丰富其高层特征信息表示，同时采用CLIP作为图像模态的视觉编码器，提取更细粒度的语义特征。
团队介绍
李明勇，马龙飞
成果资料