科创中国

人机交互技术是连接人类与计算机交流和互动的桥梁。继命令式交互、图形交互、自然交互之后，人机交互开始迈向拟人化人机交互的新阶段。拟人化人机交互是以人工智能技术为支撑，通过文字、语音、动作、形象等多模态的交互接口、多轮对话的交互模式，理解人、任务和场景，解决大众用户在多样化场景下完成复杂任务时的人机“交流障碍”，可助力产业经济的数智化升级，保障我国在新一轮人工智能科技国际竞争中掌握主导权。本项目面向大规模、场景复杂，且客户体验要求高的客户服务场景，联合清华大学、杭州涿溪脑与智能研究所，围绕知识指导的多模态对话生成、极简条件下人体行为感知与外观重建、可解释的多轮对话推理决策等关键技术开展攻关，取得了系列理论与技术突破，研制了具有国际水平的应用系统，解决了大规模产业化应用技术难题，实现了智能人机交互这一国家亟待解决的技术自主创新。

1．针对现有模型合成语音表现力低和生成文本专业度、丰富度和忠实度不足的问题，提出了多颗粒度韵律增强的语音合成方法、知识融合的预训练语言模型和多粒度多模态可控对话文本生成模型，实现了高表现力高可信的可控对话内容生成。相关技术荣获ACM Multimedia 2021大会最佳演示奖。2．针对人体行为感知识别精度低的问题，提出了人体多元语义化信息智能协同表征及优化方法，构建了稀疏视点复杂拓扑动态重建系统和单视点高精人体外观重建系统，突破了人体复杂行为高效实时捕捉识别难题。3．针对多样化复杂场景下对话决策推理能力弱的问题，提出可解释的多跳推理、数值推理和高噪音场景下口语化表达的话语权决策新方法，实现了多轮对话从信息匹配到复杂推理的技术突破。相关技术在WikiHop（2019）、HotpotQA（2021）、QuAC（2020，2021）、DROP（2022）四项国际推理型AI竞赛中排名第一。其中，在WikiHop数据集上，以74.3%的准确率获得第一，首次超越该数据集官方发布的人类表现水平74.1%的准确率。

在科技创新 2030-“新一代人工智能”重大专项、国家重点研发计划、国家自然科学基金面上项目等多个项目的支持下，项目组围绕“声(语音)-视(视觉)-情(情感)-言(语言)-知(知识图谱)-互(对话交互)”拟人化人机交互服务总体技术框架，取得了系列理论与技术突破，其中多颗粒度韵律增强的语音合成、智能三维感知与数字人体重建、知识指导的多模态可控文本生成技术、可解释的多轮对话决策推理技术已达国际先进和领先水平，研制了具有国际水平的应用系统，解决了大规模产业化应用技术难题，实现了拟人化人机交互这一国家亟待解决的技术自主创新。

何晓冬 男 1973年10月 正高级工程师 博士 京东科技信息技术有限公司于涛 男 1990年6月 助理研究员 博士 清华大学吴友政 男 1976年12月 无 博士 京东科技信息技术有限公司刘丹 男 1979年12月 无 硕士 京东科技信息技术有限公司周炯 男 1979年12月 无 博士 北京沃东天骏信息技术有限公司周伯文 男 1976年10月 教授 博士 清华大学龙波 男 1971年6月 无 博士 北京京东世纪贸易有限公司赵然 男 1977年9月 无 硕士 北京京东世纪贸易有限公司惠雷 男 1985年4月 无 硕士 北京京邦达贸易有限公司张政臣 男 1985年2月 无 博士 北京沃东天骏信息技术有限公司张希雅 男 1996年8月 无 硕士 杭州涿溪脑与智能研究所鲍军威 男 1988年11月 无 博士 北京京东世纪贸易有限公司李浩然 男 1990年8月 无 博士 北京京东世纪贸易有限公司陈蒙 男 1986年12月 无 硕士 京东科技信息技术有限公司赵楠 男 1979年6月 无 硕士 北京京东尚科信息技术有限公司

项目成果在京东零售、金融、物流等多个核心业务场景服务用户超过 5.5 亿，服务第三方商家 16.5 万。此外，还将积累技术和解决方案开放给各个产业，已为100 余家企业提供端到端的人机对话解决方案。近三年累计带来收入超过 20 亿元。

项目产生的授权专利 23 项、软件著作权 10 项、发表论文 69 篇、荣获国际相关比赛冠军 6 余项、还荣获了工信部人工智能产业创新优秀项目奖、数博会黑科技领先科技成果奖、连续荣获世界人工智能大会 WAIC-卓越人工智能引领者 SAIL 奖等。

人机交互技术是连接人类与计算机交流和互动的桥梁。继命令式交互、图形交互、自然交互之后，人机交互开始迈向拟人化人机交互的新阶段。拟人化人机交互是以人工智能技术为支撑，通过文字、语音、动作、形象等多模态的交互接口、多轮对话的交互模式，理解人、任务和场景，解决大众用户在多样化场景下完成复杂任务时的人机“交流障碍”，可助力产业经济的数智化升级，保障我国在新一轮人工智能科技国际竞争中掌握主导权。