Openpose SDK

Openpose는 카네기 멜론 대학에서 만든 동작 인식 라이브러리인데요.
Deep learning(CAFFE)기반이며, C++ 로 되어 있네요.

Video 입력, IP camera 입력을 받을 수 있고, 출력은 해당 video에 사람의 뼈대와 동작(Keypoint)로 나타나네요.

설치 방법은
https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/installation.md 에 들어가면 나와있구요.
Windows에서 설치하기 위해서는 vs2015 + caffe, cmake, cuda(8.0이상) + cudnn(5.1 이상)을 설치할 필요가 있어요.

혹은 https://github.com/CMU-Perceptual-Computing-Lab/openpose/releases
에 들어가서 win64 standalone sdk/demo를 다운로드하여 실행을 하시는 방법이 있는데요, 단순 데모 테스트 용으로 사용하는 목적이라면 이게 더 간편해요.
요 standalone를 사용하기 위해서 별도로 설치해야 하는 프로그램은 없지만, 이 프로그램을 사용하기 위해서는 먼저 caffemodel(model.bat을 사용하면 되요)을 다운로드해야 하지만요.

실행은 bin\OpenPoseDemo.exe --video examples\media\video.avi

앞쪽은 데모 프로그램 경로, 뒷쪽은 입력 비디오의 위치 경로입니다.

특히 이 라이브러리의 재미있는 점은 일반적인 mono camera(view)환경에서 손가락을 인지한다는 점인데요.

Hand Keypoint Detection in Single Images using Multiview Bootstrapping(2017)
(Tomas Simon and Hanbyul Joo and Iain Matthews and Yaser Sheikn)의 hand gesture recognition 기술을 사용했던 것으로 보이네요.

위의 논문을 간단히 요약하자면 VGG-19네트워크를 multi view환경에서 학습시켜 손가락 각각의 위치와 동작을 인식하게 했다는 거에요. 이 논문만의 특별한 네트워크 구조는 없었으나, multi view 환경을 구성해서 촬영해야 하므로 별도의 실험 환경 세팅이 필요합니다.