成果介绍
经使用的瞩目云视频会议的基础上,实现一套云边协同的高安全性云会议系统,满足冬奥组委的新应用需求。开发边缘媒体转发集群并在组委内部网络DMZ服务区部署,为组委ONI内网的瞩目用户提供内网视频会议的服务,提供内网会议的媒体数据流只在ONI内网流转,保证内网会议的音视频媒体数据信息安全,架构上要满足冬奥组委内部网络和安全性的要求;实现通过云边协同服务,打通云边数据和服务的互通,在管理策略、网络安全、自动部署和升级等方面的协同,对于内外网互通的会议,提供已有视频会议云服务,保证外网用户通过互联网接入会议的需求,满足示范应用的需求。在整套系统中实现实现同声传译的功能。整套系统最终在冬奥组委及场馆做示范应用。
成果亮点
"关键技术:
安全性技术:关闭和服务无关的端口,结合漏洞扫描的结果将边缘协同集群和代理转发服务器的操作系统、数据库及应用等进行安全加固。代理转发服务器能够快速识别客户端媒体流并快速转发,通过分时复用技术实现代理转发服务端口汇聚,将音视频媒体流汇聚后转发给边缘协同服务集群,通过对服务器IP地址和端口的识别,来确保双向通信身份的快速确定,保证安全性。
音频混音和解码技术:同一目标语言频道的7种音频流先拼接成一路音频流再进行混音,降低解码时延,保证音视频的实时性和流畅度。
同声传译中音画同步技术:在同声传译中,服务器需要把传译员的音频进行解码,并与会场原音进行混音,做背景去噪,然后再压缩编码,需要耗费一定的时间,从而可能造成音频数据落后于视频数据。为了保证音视频数据的同步,需要对音频处理的时间进行补偿。
创新点:
创新点1:基于原有的深度学习去噪算法DNN Denoise,自主设计特征提取的内容和方法,通过对特征数据的机器学习训练,不断修正模型算法,降低了算法的时间复杂度,语音分帧的处理时间由原来需要50ms降低到16ms;通过引入神经网络,可以更好的处理非平稳噪声。
团队介绍
"随锐科技是国内最早一批进入云视频会议行业的公司,公司从2006年成立开始从事视频会议的产品研发和运营工作,在云视频会议领域有着丰富的产品研发及客户运营经验。 自2018年起,瞩目云视频会议在北京冬奥组委进行了部分部署,满足了奥组委日常高效沟通需求,特别是在新冠疫情期间,保障冬奥组委与国际奥委会、国际残奥委会、奥林匹克全球合作伙伴等工作沟通,有效应对新冠疫情对冬奥筹办工作带来的不利影响,保障了各项筹办工作如期进行。在冬奥组委部署运行期间,了解到在冬奥组委特定应用场景下,需要进一步提高系统安全性,希望纯内网召开的会议媒体处理都在内网进行不经过互联网,同时要保留跨内外网的公有云会议,并在整套系统中实现实现同声传译的功能。
本次课题实施分为专家组、技术研发组和项目实施组三个机构,共计11人。硕士学历,现任随锐科技股份有限公司副总裁。主持实施了中国工商银行、中国平安等公司硬件视频会议系统建设,主导中国移动云视讯云视频会议平台的实施及IMS、VoLTE网络互通架构设计,中国电信会易通系统开发及天翼云会议系统架构设计。
成果资料
产业化落地方案