科创中国

电子信息技术

一种基于 深度神经网络 的智能视觉问答模型，涉及 人工智能 领域中的智能视觉问答。包括以下步骤：智能问答数据预处理；图像深度卷积特征 抽取 ；文本问题深度特征抽取；智能视觉问题处理；基于枢纽通道的视觉智能问答。采用多任务学习 框架 进行全新的 深度学习 网络设计以解决智能视觉问答中 训练数据 缺乏与回答原因不可知等两大问题。设计了一新型的深度学习网络结构，该网络在进行智能视觉问答的同时能够对给出的答案进行原因说明，该网络结构包含一视觉描述模 块 ，可根据问题内容针对性地对图像内容进行描述。该网络结构采用了枢纽结构设计，能将图像描述、文本问答等领域的数据引入到视觉智能问答任务中来。

一种基于深度神经网络的智能视觉问答模型，其特征在于包括以下步骤： 步骤1、智能问答数据预处理； 步骤2、图像深度卷积特征抽取； 步骤3、文本问题深度特征抽取； 步骤4、智能视觉问题处理； 步骤5、基于枢纽通道的视觉智能问答。

厦门大学媒体分析与计算实验室由纪荣嵘教授（国家杰青获得者）创建，长期致力于计算机视觉及多媒体领域得理论与技术研究。近期，实验室还成功获批了福建省发改委设立的“福建省可信人工智能分析与应用工程研究中心”。实验室现有国家杰青1人，福建省杰青1人，正教授2人、副教授4人，助理教授3人，高级工程师2人，博士后2人，博士11人，硕士46人。近年来，实验室共发表JCR一区论文十余篇、ACM汇刊与IEEE汇刊四十余篇、中国计算机学会推荐A类国际会议长文八十余篇。在与本项目相关研究方向上，先后在PAMI、IJCV 等国际一流期刊和ICCV、CVPR等国际一流会议上发表论文。先后承担国家重点研发专项，基金委联合重点基金，中央军委科技委项目，腾讯、华为、滴滴等校企合作项目十余项，累计到账经费三千余万。此外，实验室已初步建设了一批具有国际水平的软、硬件实验平台，包括四十余台高性能服务器、数百TB的存储设备、GPU集群服务器和云计算平台。实验室与广东省深圳市鹏城实验室长期合作，瞄准新一轮人工智能创新驱动发展需要，面向粤港澳与闽西南进行AI产业赋能。