需求发布 成果发布 科创案例库 揭榜挂帅
技术路演 会议展览 科创联合体 项目申报
前沿动态 科技政策 院士开讲 青托工程
科技服务团 学术资源
试点城市(园区) 双创活动周
协作站点 学会服务
问题库 项目库 开源库
English
您所在的位置: 成果库 基于多任务多模态深度学习的X光胸片诊断报告生成方法

基于多任务多模态深度学习的X光胸片诊断报告生成方法

发布时间: 2023-06-16

来源: 科技服务团

基本信息

合作方式： 作价入股
成果类型： 发明专利,新技术
行业领域：
电子信息技术
成果介绍
本发明提供一种基于多任务多模态深度学习的X光胸片诊断报告生成方法，包括以下步骤：由多模态特征提取器、多模态特征关系探索器和疾病状态分类器组成的多模态特征融合疾病分类网络模型搭建，报告生成网络模型搭建，联合训练与参数优化以及胸部疾病诊断报告自动生成。
成果亮点
本申请通过输入多视角X光胸片及其临床历史文本，采用多模态特征提取器提取丰富的上下文信息，并利用这些信息共同对疾病状态标签进行预测，以显著提高预测准确率；通过将疾病分类结果返回给模型，使得模型在后续单词预测时获得更准确的疾病信息以缓解视觉数据偏差；通过多任务学习同时最小化疾病分类网络和报告生成网络的损失，使模型在精确生成诊断报告的同时具有更好鲁棒性。
团队介绍
崔少国，尚曹志，屈虎
成果资料