Flare: Practical Viewport-Adaptive 360-Degree Video Streaming for Mobile Devices


Flare: Practical Viewport-Adaptive 360-Degree Video Streaming for Mobile Devices논문은 mobicom 18에 제출된 논문인데요. 360 video tile streaming에 관한 논문이에요.


해당 논문의 주요 특징은...


  • viewpoint adaptive & tile based 360 streaming
  • 130명 이상의 사람들을 대상으로 quality와 viewpoint prediction(VP)를 활용
  • VR with machine learning
  • Get advantage on band reduction(26 – 35%), quality improvement 22% wieh use Flare

이라고 볼 수 있더군요.

해당 논문에서의 타일 분할 특징은...



  • Divide 360 video as tiles with spatially and temporally
  • 10% overhead to divide video as tiles, more performance gain on compression using tile method.

이라고 볼 수 있구요.



해당 논문의 전체적인 모델은 전통적인 server- client model로서
대체로 VP, NCE등 데이터 예측이나 분석 & 타일 요청 부분(download planner) 디코딩, 재생에 이르기까지 대부분의 일을 client에서 처리하는 구조이구요. 서버는 요청을 받고 해당하는 타일을 전송하는 역할 정도만 수행하는 구조입니다.

Client와 server side 특징

Client side
  • performs viewpoint prediction(VP) in real time
  • Download planner – based on VP and network capacity estimation, make tile request.

Server side
  • simply transmitting the tiles per clients’ requests. 
  • Follow the DASH streaming paradigm

Viewpoint Prediction
SVM, linear regression, ridge regression 등 machine learning방식 사용


Experiment result
  • Experiment 133 participant & 18 – 60 years old
  • Using Galaxy s8 with Samsung gear VR
  • Video selection using You tube

  • Average head rotation on 360 videos 10.3°/sec
  • the median VP accuracy achieved by the best of the four ML algorithms is 90.5%, 72.9%, 58.2%, and 35.2% - it means VP inaccuracy is inevitable
  • The four plots in Figure show the distributions of the VP accuracy for four pw(future viewpoint) sizes: 0.2s, 0.5s, 1.0s, and 3.0s

Tile scheduler


  • Rank tiles and fetch additional tiles using ranking system.
  • k(v) = c0(v) + ⌈ξ(1 − S)(n − c0(v))] - k(v) means overall transmit, c0(v) is the rank 0 tiles.
Rate adaptation

  • Maximize Q on network environment
  • Finding solution based on tile rank and quality combination
  • Leveraging Buffer Information - client-side buffer status can improve the robustness of DASH rate adaptation 

Tile decoding and Rendering

  • 먼저 buffer에 다운로드한 뒤 client에서 decoding하는 구조. buffer에서 일괄적으로 decoding하며, tile을 사용하지 않더라도 선 decoding하는 구조
  • Decoding and playback asynchronously 

Network implementation
tcp에서 단일 타일 전송은 어렵기 때문에, 필요시 tcp packet에 inject할 수 있게 하는 방향으로 구현하였다고 하네요.


Results

Festive, BBA대비 tile based algorithm이라 우수하고, H2등의 다른 tile based알고리즘 대비 타일 전송량이 더 적어 조금 더 우수하다 정도더군요.

댓글 없음:

댓글 쓰기

글에 대한 의문점이나 요청점, 남기고 싶은 댓글이 있으시면 남겨 주세요. 단 악성 및 스팸성 댓글일 경우 삭제 및 차단될 수 있습니다.

모든 댓글은 검토 후 게시됩니다.

Translate