Stereo view to Multiview Conversion Architecture for Auto-Stereoscopic 3D Displays

Stereo view to Multiview Conversion Architecture for Auto-Stereoscopic 3D Displays 논문은, 스테레오 뷰에서 depth map을 생성한 뒤 이와 조합하여 multi view를 생성하는 기술인데요. 2018년 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY에 발표된 논문입니다.

논문 링크 : https://ieeexplore.ieee.org/abstract/document/7993031
       

본 논문의 최종적인 목표는 multi view rendering을 하나의 하드웨어적인 시스템 위에서 수행할 수 있는 구조에 대해 제시하는 것인데요. 해당 논문에 제시된 depth map 기술과 multi view 생성 기술은, depth map 생성을 위한 스테레오 매칭과 DIBR 알고리즘을 활용한 multi view 생성 기술로 구성되어 있습니다.

depth map 생성을 위한 스테레오 매칭 기술 부분은, local stereo matching을 활용하여 2개의 사진을 활용하여 depth map를 구하는 구조인데요.

먼저 target view에서 각각의 pixel에 대해 matching cost를 구한 뒤 각각의 region에서 집합(aggregation)을 구하구요. 이를 활용해 각각의 영역에서 구해진 비용 집합(cost aggregation)을 활용하여 disparity를 구한 뒤 해당하는 stereo view의 depth map를 추론하는 구조입니다.
여기서 구한 depth map는 DIBR에서 3D warping을 수행하는 데 사용되며, 최종적으로는 이에 기반하여 multi view rendering을 수행합니다.

DIBR알고리즘을 활용하여 multi view를 만들어내는 기술은, view와 depth map를 활용하여 3차원 깊이정보 위에 view를 3D warping한 뒤 빈 공간 부분에 대해 interpolation 혹은 extrapolation을 수행하여 multi view를 생성하게 됩니다.

DIBR알고리즘은 일반적으로는 depth image processing - pixel location warping - hole filling순서로 진행되며, 본 논문에서 제안하는 방법도 이와 크게 다르진 않더군요.



해당 논문의 기술은 현재까지 depth map 기술과 multi view rendering 기술이 통합된 것 중에는 가장 최신의 기술인데요. 아무래도 기존의 시스템을 안정적으로 통합하는 데 보다 중점을 두고 있기에 딥 러닝과 같은 기술들은 적용되어있지 않더군요.