语义驱动的视频智能分析及适配传输关键技术与应用

发布时间: 2022-11-12

来源: 试点城市（园区）

基本信息

合作方式：合作开发

成果类型：发明专利,软件著作权,著作权

行业领域：

电子信息技术,通信技术,计算机及网络技术,软件

成果介绍

新一代的可适配、可交互、可操控视频技术体系对于视频的分析理解、编码处理、及分发传输等各个环节提出了全方位的要求，并在架构、内容和数据三个方面对视频分析与传输技术带来全新的挑战：首先，在架构方面，随着智能媒体系统计算前移、端云协同等架构的日益普及，传统的只面向视频流的处理和传输架构已经难以满足新一代媒体业务需求，亟需研制能对视频流以及表征视频内容的语义流进行联合处理和传输的全新架构；其次，在内容方面，随着视频内容的日益复杂化与多样化，对其进行快速、准确分析的难度日益增大，与快速增长的视频内容服务需求构成突出的矛盾，难以有效支撑对视频内容的可交互、可操控等关键需求；第三，在数据方面，随着视频数据的爆炸式增长，形成巨大的存储与传输开销，而相应的处理设备与传输环境差异巨大，无法保证适配化的视频传输与低延时的视频交互操控任务，极大限制了视频服务的质量。

成果亮点

1）热扩散的层次化结构语义分析。系统地归纳了视频中不同尺度目标运动及行为关系的特点，提出了热扩散的层次化结构复杂语义分析技术，突破了运动、行为等核心视频语义的提取难题，研制了视频大数据语义分析系统，语义分析提取实现 3 倍以上的速度提升。 2）多模式预测的语义压缩编码。提出了时序视频语义在时间、空间、场景、重构性方面的冗余关系模型，并提出了多模式预测的语义编码方案，实现了面向目标位置、运动、关键点序列等核心基础语义的压缩编码，将语义信息的数据量降低 40%以上。 3）语义驱动的自适应视频编码控制。揭示了编码资源与表征内容语义单元间的多模式关系图谱，提出了语义驱动的自适应视频编码控制技术和编码控制统一架构，实现了能量分级编码、码率控制等一系列可伸缩、可分级、以及自适应的编码控制功能，平均码率节省 35% 以上，显著提升了有限资源环境下视频的编码质量和编码能力。

团队介绍

1 林巍峣男 *** 教授博士上海交通大学项目总负责人，创新点 1 的重要贡献者，创新点 2、3 的主要贡献者之一。 2 李成林男 *** 副教授博士上海交通大学项目主要完成人，创新点 4 的重要贡献者。 3 高雪松男 *** 教授博士青岛海信电子产业控股股份有限公司项目主要完成人，创新点 2、3 的主要贡献者。 4 熊红凯男 *** 教授博士上海交通大学项目主要完成人，创新点 3、4 的主要贡献者之一。 5 戴文睿男 *** 副教授博士上海交通大学项目主要完成人，创新点 3 的主要贡献者之一。

成果资料

产业化落地方案

点击查看

成果综合评价报告

评价单位：- (-) 评价时间：2023-04-24

符洪川

四川天府蜂谷科技有限公司

总经理

综合评价

本技术能实现很好的社会效益，建议推广。

科创中国

友情链接

海外专利信息资源系统

省级中心站