您所在的位置: 需求库 技术需求 需求——三维直播 、推流

需求——三维直播 、推流

发布时间: 2023-09-21

价格 5万

地区: 广东省 深圳市 龙华区

需求方: 深圳***公司

行业领域

电子信息技术,信息安全技术,广播电视技术,通信技术,计算机及网络技术,软件

需求背景

据中国互联网络信息中心发布的《中国互联网络发展状况统计报告》显示,截止到 2022 年 6 月我国网络直播用户规模达到了 *** 亿,占网民整体的 ***% 。最主要原因是 2020 年度疫情期间导致居家办公和休闲娱乐的人数呈现激增,新媒体互动直播成为了广大网民最重要的休闲娱乐方式之一。

三维直播渲染就是通过视频流的形式,把二维平面上的内容进行三维建模,然后通过虚拟技术(VR、 AR、 MR),将这一过程数字化、立体化。简单地说,三维渲染是使用计算机从数字三维场景中生成二维影像的过程。为了生成影像,需要使用特定的方法和特殊的软件和硬件。三维渲染这个过程—也就是构建影像的过程。

三维直播渲染也是一项令人兴奋的技术,三维直播渲染的过程与现实世界的渲染过程类似,但是它需要更多的计算和数据处理能力以实现实时渲染。此外,为了使观众可以实时观看三维渲染过程,必须使用高速网络连接和流媒体服务。它可以将虚拟环境中的动态内容与真实视频流结合起来,创造一个真实而又充满创意的视觉体验。

在极端场景下,延时在用户侧希望越小越好,接近于实时通信的低延迟模式可以最大化地激发用户的参与感,无缝地与内容生产方产生互动效应,调动用户所见即所得的积极性。比如在主播秀场的PK、送礼、工会冲榜、打赏的活动关键环节,竞争双方的储值大户都希望实时地观察到自身主播在礼物刷榜后的反应,为后台运营决策团队或者后续活动策略提供第一时间的信息反馈。

需解决的主要技术难题

1.高效的网络传输和3D图像压缩算法。

实时重建3D影像的带宽需求是极高的,因为传输流内包含了不只是3D信息,还包含了高清贴图信息,Mantis Vision的每帧贴图都达到了6K左右的分辨率,所以单单5G网络的带宽也不能满足原始3D数据每秒动辄几十GB的传输带宽(采集速率在30fps)。因此3D信息的压缩技术在这里就至关重要了,而Mantis Vision在这个领域也已经有了一些重要突破,在保证原始数据损失最小的情况下,做到了将几十GB的数据压缩到了几百MB,甚至几十MB,使之能够在现实的5G商业化场景下得以运用。1.

2.观众播放器

播放器在 io 模块有分配缓存 buffer(抖音线上分配 buffer 最大为 20s,也就是最多可容纳 20s 的媒体数据,这个 buffer 其实越大越好,抗网络抖动能力也越强),用于存放从 CDN 边缘节点下载到的流媒体数据。播放器下载是主动下载,在可分配的 buffer 队列未充满的前提下,io 线程是连续下载流媒体数据并存放到 buffer 中,直到没有空闲 buffer 可利用为止。因此,观众网络状况良好的情况下,在用户请求播放,建立链接后,CDN 的边缘节点的快启 buffer,会很快都被下载到播放器的 buffer 中,后续渲染环节消费速度远低于 i/o 下载的速度,这样端到端的延迟就主要分布到了播放器的 buffer 中。但只说明启播后,直播链路的延迟从 CDN 的 gopCache,转移到了播放器,播放器 buffer 并不是延迟的根因,因此,降低播放器的最大缓存 buffer,并不能降低延迟。如果换个角度理解,降低播放器 buffer 中实际缓存的数据,会降低延迟这个说法是正确的,比如通过倍速播放或者丢帧。

期望实现的主要技术目标

. 结合原宇宙概念, 实现直播 、 带货视频虚拟现实化, 通过网络交流犹如现实面对面交流

. 应用3维重建技术, 结合全息投影, 单摄像头做到3D显示

. 应用场景要求易搭建, 不需要专门搭设场景

. 直播实时或低延时 (<60ms)

处理进度

  1. 提交需求
    2023-09-21 11:03:39
  2. 确认需求
    2023-09-22 17:44:50
  3. 需求服务
  4. 需求签约
  5. 需求完成