科创中国

人机交互技术是连接人类与计算机交流和互动的桥梁。继命令式交互、图形交互、自然交互之后，人机交互开始迈向拟人化人机交互的新阶段。拟人化人机交互是以人工智能技术为支撑，通过文字、语音、动作、形象等多模态的交互接口、多轮对话的交互模式，理解人、任务和场景，解决大众用户在多样化场景下完成复杂任务时的人机“交流障碍”，可助力产业经济的数智化升级，保障我国在新一轮人工智能科技国际竞争中掌握主导权。

项目组面向大规模、复杂、高要求的客户服务场景，针对任务型智能对话交互的核心问题攻克了系列关键技术，主要创新点有： 1．针对现有模型合成语音表现力低和生成文本专业度、丰富度和忠实度不足的问题，提出了多颗粒度韵律增强的语音合成方法、知识融合的预训练语言模型和多粒度多模态可控对话文本生成模型，实现了高表现力高可信的可控对话内容生成。相关技术荣获ACM Multimedia 2021大会最佳演示奖。 2．针对人体行为感知识别精度低的问题，提出了人体多元语义化信息智能协同表征及优化方法，构建了稀疏视点复杂拓扑动态重建系统和单视点高精人体外观重建系统，突破了人体复杂行为高效实时捕捉识别难题。

随着大数据、深度学习和算力的快速发展，计算机已发展成可

以对语音、视觉、文本等多模态信息进行表示和识别并融合知识以

实现理解的智能系统。为解决大众用户在多样化场景下完成复杂任

务时的人机“交流障碍”问题，人机交互开始迈向智能交互

（Intelligent User Interface，IUI）的新阶段。

何晓冬 男 1973年10月 正高级工程师 博士 京东科技信息技术有限公司 本项目的总体负责人。全面负责本项目的研发工作，创新的提出了知识指导的多模态对话生成技术、可解释的多轮对话决策推理技术等技术；主持任务型智能对话交互应用平台-言犀的研制及 在零售、物流、金融、政务、疫情防疫等行业场景的大规模产业应用。 于涛 男 1990年6月 助理研究员 博士 清华大学 负责极简条件下智能行为感知与数字外观重建技术的创新，提出智能三维表征协同优化及推理机制、极简采集条件下高精人体外观重建、复杂动作与紧密交互行为实时感知等方法；负责该技术在数字人客服、数字柜员、虚拟直播等系统中的应用。 吴友政 男 1976年12月 无 博士 京东科技信息技术有限公司 负责知识指导的多模态对话生成和可解释的多轮对话决策推理等技术的创新突破及相关技术的大规模产业化应用。 刘丹 男 1979年12月 无 硕士 京东科技信息技术有限公司 负责任务型智能对话交互平台-言犀的研制及平台在京东内外部场景的大规模产业应用。

项目成果在零售、金融、物流、政务、疫情防控等场景实现了规模化的产业应用，服务用户超过5.8亿，服务第三方商家17.4万户，近三年累计直接经济效益20亿元。相关成果还应用于庆祝中华人民共和国成立70周年阅兵训练，在国家重大专项任务、军事训练中发挥了重要作用。

现阶段其典型

应用是面向在线文本、电话客服和面对面咨询、销售和服务等场景，

以及未来如元宇宙等新的应用范例。任务型智能对话交互是智能交

互的核心技术，具有交互对象大众化、交互方式自然化、交互任务

多样化和复杂化这三个特点，人机交互需要从传统的用户“适应”

机器，发展为智能机器主动“适应”用户，从而消除大众用户在完

成多样化和复杂任务时与机器的“交流障碍”进而提高人机“协同

效率”，这也正是任务型智能对话交互关键技术研究的核心目标。