成果介绍
人机交互技术是连接人类与计算机交流和互动的桥梁。继命令式交互、图形交互、自然交互之后,人机交互开始迈向拟人化人机交互的新阶段。拟人化人机交互是以人工智能技术为支撑,通过文字、语音、动作、形象等多模态的交互接口、多轮对话的交互模式,理解人、任务和场景,解决大众用户在多样化场景下完成复杂任务时的人机“交流障碍”,可助力产业经济的数智化升级,保障我国在新一轮人工智能科技国际竞争中掌握主导权。
成果亮点
项目组面向大规模、复杂、高要求的客户服务场景,针对任务型智能对话交互的核心问题攻克了系列关键技术,主要创新点有:
1.针对现有模型合成语音表现力低和生成文本专业度、丰富度和忠实度不足的问题,提出了多颗粒度韵律增强的语音合成方法、知识融合的预训练语言模型和多粒度多模态可控对话文本生成模型,实现了高表现力高可信的可控对话内容生成。相关技术荣获ACM Multimedia 2021大会最佳演示奖。
2.针对人体行为感知识别精度低的问题,提出了人体多元语义化信息智能协同表征及优化方法,构建了稀疏视点复杂拓扑动态重建系统和单视点高精人体外观重建系统,突破了人体复杂行为高效实时捕捉识别难题。
团队介绍
何晓冬 男 1973年10月 正高级工程师 博士 京东科技信息技术有限公司 本项目的总体负责人。全面负责本项目的研发工作,创新的提出了知识指导的多模态对话生成技术、可解释的多轮对话决策推理技术等技术;主持任务型智能对话交互应用平台-言犀的研制及
在零售、物流、金融、政务、疫情防疫等行业场景的大规模产业应用。
于涛 男 1990年6月 助理研究员 博士 清华大学 负责极简条件下智能行为感知与数字外观重建技术的创新,提出智能三维表征协同优化及推理机制、极简采集条件下高精人体外观重建、复杂动作与紧密交互行为实时感知等方法;负责该技术在数字人客服、数字柜员、虚拟直播等系统中的应用。
吴友政 男 1976年12月 无 博士 京东科技信息技术有限公司 负责知识指导的多模态对话生成和可解释的多轮对话决策推理等技术的创新突破及相关技术的大规模产业化应用。
刘丹 男 1979年12月 无 硕士 京东科技信息技术有限公司 负责任务型智能对话交互平台-言犀的研制及平台在京东内外部场景的大规模产业应用。
成果资料
产业化落地方案