科创中国

物理

本发明公开一种融合多头注意力对齐的文本匹配方法。该方法包括：构建文本匹配模型，包括输入层、BERT编码层、交互式句子表示层、融合层和全连接层；基于设定的损失函数训练文本匹配模型；利用经训练的文本匹配模型估计目标文本间的匹配程度。其中输入层以第一句子和第二句子两个句子作为输入；BERT编码层以对应句子的字符级向量、位置向量和分段向量的叠加向量作为输入，提取具有语义信息的隐藏层向量；交互式句子表示层基于隐藏层向量进行句向量间的注意力交互，以分别提取两个句子的交互特征；融合层对两个句子的交互特征进行融合，得到特征融合向量；全连接层基于特征融合向量，获得句子间的匹配结果。本发明能提高文本匹配的准确性。

一种融合多头注意力对齐的文本匹配方法，包括以下步骤： 利于语言模型SBERT构建文本匹配模型，该文本匹配模型依次包括输入层、BERT编码层、交互式句子表示层、融合层和全连接层； 基于设定的损失函数训练所述文本匹配模型； 利用经训练的所述文本匹配模型估计目标文本间的匹配程度； 其中： 输入层以第一句子和第二句子两个句子作为输入，并采用字符级向量、位置向量和分段向量对句子进行表征； BERT编码层以对应句子的字符级向量、位置向量和分段向量的叠加向量作为输入，提取具有语义信息的隐藏层向量； 交互式句子表示层基于所述隐藏层向量进行句向量间的注意力交互，以分别提取两个句子的交互特征； 融合层通过计算第一句子与第二句子的交互特征向量之间的差和乘积进行拼接，得到特征融合向量； 全连接层基于所述特征融合向量，获得句子间的匹配结果。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

点击查看