Flare: Practical Viewport-Adaptive 360-Degree Video Streaming for Mobile Devices

Flare: Practical Viewport-Adaptive 360-Degree Video Streaming for Mobile Devices논문은 mobicom 18에 제출된 논문인데요. 360 video tile streaming에 관한 논문이에요.


해당 논문의 주요 특징은...

• viewpoint adaptive & tile based 360 streaming
• 130명 이상의 사람들을 대상으로 quality와 viewpoint prediction(VP)를 활용
• VR with machine learning
• Get advantage on band reduction(26 – 35%), quality improvement 22% wieh use Flare

이라고 볼 수 있더군요.

해당 논문에서의 타일 분할 특징은...

• Divide 360 video as tiles with spatially and temporally
• 10% overhead to divide video as tiles, more performance gain on compression using tile method.

이라고 볼 수 있구요.

해당 논문의 전체적인 모델은 전통적인 server- client model로서

대체로 VP, NCE등 데이터 예측이나 분석 & 타일 요청 부분(download planner) 디코딩, 재생에 이르기까지 대부분의 일을 client에서 처리하는 구조이구요. 서버는 요청을 받고 해당하는 타일을 전송하는 역할 정도만 수행하는 구조입니다.

Client와 server side 특징

Client side

• performs viewpoint prediction(VP) in real time
• Download planner – based on VP and network capacity estimation, make tile request.

Server side

• simply transmitting the tiles per clients’ requests. 
• Follow the DASH streaming paradigm

Viewpoint Prediction

SVM, linear regression, ridge regression 등 machine learning방식 사용

Experiment result

• Experiment 133 participant & 18 – 60 years old
• Using Galaxy s8 with Samsung gear VR
• Video selection using You tube

• Average head rotation on 360 videos 10.3°/sec
• the median VP accuracy achieved by the best of the four ML algorithms is 90.5%, 72.9%, 58.2%, and 35.2% - it means VP inaccuracy is inevitable
• The four plots in Figure show the distributions of the VP accuracy for four pw(future viewpoint) sizes: 0.2s, 0.5s, 1.0s, and 3.0s

Tile scheduler

• Rank tiles and fetch additional tiles using ranking system.
• k(v) = c0(v) + ⌈ξ(1 − S)(n − c0(v))] - k(v) means overall transmit, c0(v) is the rank 0 tiles.

Rate adaptation

• Maximize Q on network environment
• Finding solution based on tile rank and quality combination
• Leveraging Buffer Information - client-side buffer status can improve the robustness of DASH rate adaptation 

Tile decoding and Rendering

• 먼저 buffer에 다운로드한 뒤 client에서 decoding하는 구조. buffer에서 일괄적으로 decoding하며, tile을 사용하지 않더라도 선 decoding하는 구조
• Decoding and playback asynchronously 

Network implementation

tcp에서 단일 타일 전송은 어렵기 때문에, 필요시 tcp packet에 inject할 수 있게 하는 방향으로 구현하였다고 하네요.

Results

Festive, BBA대비 tile based algorithm이라 우수하고, H2등의 다른 tile based알고리즘 대비 타일 전송량이 더 적어 조금 더 우수하다 정도더군요.