科创中国

新一代的可适配、可交互、可操控视频技术体系对于视频的分析理解、编码处理、及分发传输等各个环节提出了全方位的要求，并在架构、内容和数据三个方面对视频分析与传输技术带来全新的挑战：首先，在架构方面，随着智能媒体系统计算前移、端云协同等架构的日益普及，传统的只面向视频流的处理和传输架构已经难以满足新一代媒体业务需求，亟需研制能对视频流以及表征视频内容的语义流进行联合处理和传输的全新架构；其次，在内容方面，随着视频内容的日益复杂化与多样化，对其进行快速、准确分析的难度日益增大，与快速增长的视频内容服务需求构成突出的矛盾，难以有效支撑对视频内容的可交互、可操控等关键需求；第三，在数据方面，随着视频数据的爆炸式增长，形成巨大的存储与传输开销，而相应的处理设备与传输环境差异巨大，无法保证适配化的视频传输与低延时的视频交互操控任务，极大限制了视频服务的质量。

1）热扩散的层次化结构语义分析。系统地归纳了视频中不同尺度目标运动及行为关系的特点，提出了热扩散的层次化结构复杂语义分析技术，突破了运动、行为等核心视频语义的提取难题，研制了视频大数据语义分析系统，语义分析提取实现 3 倍以上的速度提升。2）多模式预测的语义压缩编码。提出了时序视频语义在时间、空间、场景、重构性方面的冗余关系模型，并提出了多模式预测的语义编码方案，实现了面向目标位置、运动、关键点序列等核心基础语义的压缩编码，将语义信息的数据量降低 40%以上。3）语义驱动的自适应视频编码控制。揭示了编码资源与表征内容语义单元间的多模式关系图谱，提出了语义驱动的自适应视频编码控制技术和编码控制统一架构，实现了能量分级编码、码率控制等一系列可伸缩、可分级、以及自适应的编码控制功能，平均码率节省 35%以上，显著提升了有限资源环境下视频的编码质量和编码能力。

目前项目成果已成功应用在多款海信及博云视觉的智能视频服

务及产品上，实现了 20 余个规格的视频设备产业化，在互联网电视、

智能交通、公共安全、航天、电网等领域的规模化应用。

1 林巍峣 男 1980.12 教授 博士 上海交通大学项目总负责人，创新点 1 的重要贡献者，创新点 2、3 的主要贡献者之一。2 李成林 男 1985.2 副教授 博士 上海交通大学 项目主要完成人，创新点 4 的重要贡献者。3 高雪松 男 1978.11 教授 博士 青岛海信电子产业控股股份有限公司项目主要完成人，创新点 2、3 的主要贡献者。4 熊红凯 男 1973.7 教授 博士 上海交通大学 项目主要完成人，创新点 3、4 的主要贡献者之一。5 戴文睿 男 1983.5 副教授 博士 上海交通大学 项目主要完成人，创新点 3 的主要贡献者之一。

近 2 年项目贡献的新增销售额 145,410.61 万元，新增利润 8,367.17 万元。

（1）项目所研制的“语义驱动的视频智能分析及适配传输”相

关系统自 2017 年起，已规模化应用于海信互联网智能电视，产品远

销 100 多个国家和地区，用户超过 5000 万，受到广大用户的一致好

评，极大带动了海信智能电视的销售量，取得了良好的经济效益。

（2）项目的技术在安防领域发挥了重要作用，自 2016 年起，项

目成果已成功应用在海信视频接入网关、视频大数据、公安云脑、公

安实战平台产品上，实现青岛、长沙、淮南、汉阳等多个城市的实地

应用。应用在青岛西海岸（青岛经济技术开发区）建成的天网大数据

智能化应用平台，自上线到 2017 年 5 月助力破获刑事案件720 余起，

打掉犯罪团伙 20 余个，刑事发案数同比下降 7.6%，受到业主与群众

的一致好评。

（3）项目成果自 2017 年起，应用于青岛市城阳区“天网”工程

二期项目建设及服务中，紧密围绕公安“打、防、控”三大核心业务，

将云计算、视频分析、数据挖掘和流式大数据处理等智能化手段和技

术融合到公安实战业务中，辅助公安防控、指挥和侦察。