浅析VR视频传输打算

VR视频属于一种弱交互、轻交互业务，这类视频普通经过预先编排、布局后，用户在VR终端以恣意自在度视点观看。用户与视频的交互关键出当初用户转头扭转视点上。VR视频在分辨率、帧率、色深等多维度目的上相较于传统视频要求更高。

VR视频从引入、颁布到在VR终端设施播放教训了哪些流程呢？如下图所示，流程中普通触及内容提供方（Content Provider,CP）、运营治理方、运营商业务平台、承载网络和终端厂商等多家机构。

VR视频传输除了和上述业务流程关系外，也和用户体验品质（Quality of Experience,QoE）亲密关系。普通地，用户关键关注视频画面品质、初缓时长、卡顿状况等，详细目的参数如下表所示。

终端每个角度可见的像素数量（Pixels PerDegree,PPD）用来示意VR视频像素的密度。视场内像素密度越高，明晰度越高、观看体验越好。人的单眼水平视场角约为160°，垂直视场角约为150°，以PPD为20启动换算，要求视频内容的全视角分辨率到达8K（7680×4320）。若思考帧率、色深敌对面感等其余维度的目的，视频流数据量更大，码率要求更高。因此，VR视频传输技术重点处置上述疑问。

3.1 高品质全视角传输打算

高品质全视角传输打算对全视角的VR视频源内容启动投影、切片、编码后，平面媒体魄式的内容由运营商网络以等同品质传输至终端，终端对全视角的内容启动所有或部分切片解码、渲染，如下图所示。

用户在启动视角（File of View,fov）切换时，终端成功包含码流解析、视频解码和画面渲染等处置，用户能即时 (Just-in-time) 看到等同品质的内容。

1）受限于人眼水平、垂直视场角和现有终端允许视角（可允许的视角为90°~110°），普通能看到的360°球面信号约为整个全景的19%，以等同品质传输全视角内容形成网络资源糜费。2）全视角内容要求终端侧具有与内容等同分辨率的解码才干。3）等距柱状投影自创地图经纬线投影的思维，将球面开展为平面矩形，依托增大面积变形坚持角度不变（空间球体画面在赤道部分投影开展后失真小，而越向两极，画面失真越大），改模式投影引入过多有效冗余像素，文件紧缩效率较低。

3.2 基于投影优化的全视角传输打算

基于投影优化的全视角传输打算经常使用多面体投影（Platonic SolidProjection,PSP），选用部分经纬线作为边界将空间球面子宰割成多个部分，再将各部分的部分球面投影到某个多面体（包含四面体、六面体、金字塔、立方体等）的不同面上。多面体投影将球面的不同区域投影到多面体不同面积大小的面，因为每个区域独自投影，相较于等距柱状投影极大水平降低了画面失真。基于投影优化的全视角传输技术，只管缩小网络传输的数据量，但仍会传输少量未出现给用户的内容。

分片传输打算对用户fov区域经常使用高品质画面保证视场内画质，对非FoV区域经常使用低品质画面，使得用户在切换视角时能看到画面，保证用户切换体验。如下图所示，分片传输打算将高品质的全视角画面划分红多个分片，区分对每个高品质分片启动编码。经过降质处置高品质分片失掉对应的低品质分片。终端依据用户视角姿态向内容侧恳求对应FoV内高品质分片和非FoV区域的低品质分片，再对失掉的分片启动解码、拼接成完整画面。为缩小传输数据量，非FoV区域的低品质分片也可选用不所有传输，仅传输部分角度（比FoV大）区域内的低品质分片。

1）只分片传输fov和部分非fov的模式降低网络传输需求，在终端侧复用部分堆叠区域视频分片，能进一步缩小内容侧向终端侧推送数据量。2）非fov区域低品质分片和fov区域高品质分片组合传输极大优化了视角切换体验。

1）分片传输打算须要在终端对分片启动实时拼接，终端侧引入更多计算，对终端计算才干要求更高。2）拼接算法效率或有效性无余，会带来画面拼接错位、高下品质分片拼接显著等疑问。

3.4 基于全视角的分片传输打算

基于全视角的分片传输打算在内容侧提供了低品质的全视角视频流和高品质的分片视频流。终端侧依据的视角消息，向内容侧失掉低品质的全视角视频流以及视角区域范围内的高品质分片视频流并启动融合出现。基于视频分片的自顺应视频传输（Tile Wise Streaming，TWS）打算典型代表，TWS传输打算被灵活图像专家组织（Moving Picture Experts Group，MPEG）的全景视频格局（Omnidirectional MediaFormat，OMAF）上班组所采用，并被写入了最新的规范ISO/IEC23090-2。如下图所示，TWS打算在内容侧预备了具有基本品质要求的全视角视频流和高品质的Tile（分块，即依照矩形划分的分片）视频流，内容侧依据终端视角消息推送全视角视频流和视角范围内的多份Tile视频流，再由终端启动解码、拼接和出现等。

1）全视角低品质画面不受网络传输和终端解码才干制约，全视角低品质画面是确定的，无需终端按需失掉再启动实时拼接，降低了终端的拼接计算压力。2）在网络较差场景下，视频能以基本品质播放，保证了播放流利度。3）更实用于大屏电视等性能相对较低的终端。

分片传输技术打算在fov切换时体验更佳，目前在该打算上出现少量fov预测关系钻研。基于多自在度的视觉惯性测距、眼部追踪等技术，借助AI模型预测用户视角法令，并将预测内容文件缓存至移动边缘网络，借助边缘缓存和计算才干，提早成功盛行内容缓存、近场渲染、GPU云渲染，让用户取得更流利VR体验。