2012-13년 이전에는 hand segmentation에 주로 HSV컬러에서 hand region을 분리하는 방법 등이 주로 사용되었는데요. 근래에는 deep learning의 발전이나 depth camera기술 등의 발전으로 인해 상당히 다른 양상으로 변하게 되었습니다.
2014년 이후 hand segmentation과 관련된 논문들이 나오는 것을 보면 사용 기술들을 크게 4가지로 나누어 볼 수 있는데요.
1. Deep learning/CNN을 이용한 hand segmentation 방식
2. Decision tree를 활용한 machine learning방식
3. Depth camera를 활용한 방식
4. Deep learning + Depth camera를 활용한 방식 -> CVPR등 2017년 이후 주요 저널의 연구 트렌드
으로 나눌 수 있겠더라구요.
먼저 CNN을 활용한 hand segmentation방식을 요약하자면....
대개 CNN을 중심으로 한 전통적인 image classification 네트워크 구성을 가지고 있으며, 이에 기반하여 hand image영역을 뽑아내는 방식을 활용하더군요.
현대의 hand segmentation방법 중 depth camera를 사용한 것을 제외하면 가장 우수한 축에 들어가는 방식이며, 정확도가 95% 정도입니다.
Decision tree를 활용한 방식은 학습이 가능한 tree 모델을 활용하는 방식인데요.
deep learning 기반 방법들과 비슷하게 이미지 데이터를 tree model에 학습시켜 손 부분을 모델링하는 방식을 활용합니다.
현재에는 Depth camera + Deep learning을 결합한, hand segmentation에 대한 현대의 주요 연구방법론에 비해 성능이 떨어지기에 도태된 방식이 됩니다.
Hand segmentation방식들 중 Depth camera를 활용한 방식은 여러가지 방법들 중 가장 정확한 편에 들어가는데요.
일단 depth를 안정적으로 구할 수 있다보니, 손의 위치가 깔끔하게 나오는 점이 있거든요.
흔히 사용되고 있는 손 인식 장치인 leap motion등도 depth의 차이를 이용한 방식이며, hand gesture관련 imaging 장치들은 대개 이 방식을 이용하여 상용화가 되고 있습니다.
다만 단점이라면 이런 장치들은 상당히 비싸고 다루기가 쉽지 않기에, 일반적인 환경에서 적용하기가 어렵다는 점이 있긴 하지만요.
(GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB - CVPR 2018 의 네트워크 구조 )
(Robust Hand Pose Estimation during the Interaction with an Unknown Object - ICCV2017)
아주 근래에는 Deep learning + Depth camera data를 활용하여 3D hand segmentation을 하는 게 연구 트렌드인데요.
decision tree 방식은 구식이고 deep learning 인공신경망 방식에 비해 성능이 떨어지기에 도태되었고, depth camera가 흔해진 오늘날에는 데이터를 구하기가 어렵지 않으니 아예 depth camera dataset을 만들어서 실험을 진행하게 됩니다.
deep learning 등 신경망을 이용한 방식도 old style인 CNN기반의 단순 신경망에서 GAN을 활용한 기법이나 복잡한 신경망 구조로 다수 넘어가게 되었구요.
기존의 2D camera 기반 추정 기술과는 달리 depth camera의 3차원 위치 정보를 트레이닝시킬 수 있게 되어 손의 3차원 모양에 대해서도 segmentation할 수 있게 되었는데요. 이를 이용해서 정교한 손동작 등을 tracking/recognition/segmentation하기 위한 연구가 이루어지는 중이에요.
댓글 없음:
댓글 쓰기
글에 대한 의문점이나 요청점, 남기고 싶은 댓글이 있으시면 남겨 주세요. 단 악성 및 스팸성 댓글일 경우 삭제 및 차단될 수 있습니다.
모든 댓글은 검토 후 게시됩니다.