Capsnet(capsule network)요약

capsule network이란 Geoffrey Hinton이 cnn기반 네트워크의 단점을 보완하고자 만든 네트워크인데요. 기존의 cnn이 특성 간 관계를 분석하지 못하고 현대 인지심리학 연구 결과와 대치된다는 비판과 함께 이 문제를 해결하기 위해 내놓은 네트워크 구조입니다.

관련 논문 링크는 : http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules 이구요. 제목은 Dynamic Routing Between Capsules입니다. NIPS 2017년에 발표했네요.

cnn 기반의 네트워크는 여러 단계의 convolution을 거쳐 특징을 뽑아내는 역할을 합니다. 그러나 이 과정에서 단순 정보만을 추출하기에 복잡한 관계정보와 같은 것들은 손실된다는 단점이 있지요.

convolution 네트워크로 구성된 네트워크에서는 단순히 특징만을 추출하여 결론을 내리므로 복잡한 관계정보에 대해 보완해줘야 하는 부분이 있는데요. 이 방안으로서 도입된 것이 max-pooling 구조입니다.
cnn 처리 결과에서 max값을 추출하여 압축하여 이미지의 특징에 대해 좀 더 넓은 단위에서 처리할 수 있게 한 것이지요.

다만 이 방식은 문제가 있는데요.
max pooling을 사용할 경우 이미지의 특징들을 좀 더 넓은 관계 속에서 분석할 수 있긴 하지만, 각각의 특징이 가진 위치적인 면이나 관계에 대해 파악하기는 불가능하다는 점이 있기 때문입니다.

위의 얼굴 그림처럼 부자연스러운 점이 있더라도
관계정보(벡터)가 없기 때문에 위의 2가지 얼굴이 각각 유사한 기본 특성을 가지고 있으므로 유사하다하고 보게 되는 것이지요.



위와 같은 기존의 cnn네트워크의 단점인 특성 간 관계도를 보완하기 위해..
전체와 개별 특성 간의 관계를 일종의 capsule로 놓고, 개별 특성에 관계 vector 행렬을 추가해 관계에 대해서도 추론할 수 있게 한 구조가 바로 capsnet 구조입니다.

위 네트워크는 기본적으로 MNIST에 대해 구현된 것이며, 기본 특성은 다음과 같습니다.

Input : 28 x 28 x 1 (MNIST Dataset)

Conv1 kernel : 9 x 9 x 256,  + ReLU function

Output : 20 x 20 x 256

Primary Caps : 9 x 9 x 32 (x 8) - 해당 부분이 추가되는 위치 vector에 관한 부분, + ReLU function

Digit Caps : dynamic routing

capsnet가 기존의 cnn 네트워크와 크게 다른 점은 dynamic routing라는 방식을 채택했다는 점인데요. 위의 구조는 이에 대해 간략하게 나타낸 그림입니다.

mnist에서 먼저 기존의 cnn을 거치면서 특징을 추출하고(relu conv 부분), 이를 바탕으로 8개의 위치/방향 벡터를 추출해서 1개의 캡슐에 추가적인 feature map로서 집어넣습니다.(primary caps부분과 아래 그림 부분) 그 뒤에 dynamic routing을 통해 상위 캡슐과 연결하여 특징을 전달하지요.

이를 바탕으로 상위 캡슐에서는 위치나 관계 정보에 대해서도 인지하고 다룰 수 있게 됩니다.



위의 수식은 dynamic routing에 대해 설명한 부분입니다.

초기에는 각 캡슐간의 관계 기본값(bij)을 0으로 설정한 뒤, 각각의 layer에서 softmax layer를 거쳐 캡슐 간 연결 강도를 계산합니다. 이 과정에서 벡터 행렬이 8개에서 16개로 변화하며 primarycaps에서 digitcaps 형식으로 바뀌게 됩니다.

이런 처리가 반복되면서 최종적으로는 squash function을 거쳐 각각의 특성에 대한 존재 확률을 구할 수 있게 되고, 이를 바탕으로 bij를 업데이트합니다.



참고 자료 : https://jayhey.github.io/deep%20learning/2017/11/28/CapsNet_2/