VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
Karen Simonyan ∗ & Andrew Zisserman, Oxford Univ 의 논문에서 처음 제시되었습니다.
링크 - https://arxiv.org/pdf/1409.1556.pdf
VGGNet 개요
주로 image feature extraction, pattern recognition에 주로 사용되며 이를 응용하여 관련 이미지 처리 어플리케이션들이 나오는 것 같더군요.
VGGNet은, 원래 딥 러닝 시작기였던 2014 - 2015년에 네트워크를 어떻게 디자인해야 하나라는 논쟁주제에 의견들 중 하나로서 제시된 것입니다.
당시에는 층(Layer)를 깊게 파는 것과, 층 하나하나에서 많은 변수들을 처리하는 것들 중 어느 것이 더 유리한지에 대한 의견차가 있었는데요. VGGNet은 층 하나하나에서는 단순 필터만을 사용하고 층을 깊게 하면 효율적이라고 본 것이지요.
VGGNet을 기점으로 해서, ResNet등 VGGNet 이후에 제시되고 있는 딥 러닝 알고리즘들은 층이 빠르게 깊어졌지요.
VGGNet 구조와 결과
기존의 딥 러닝 알고리즘들이 큰 필터와 복잡한 알고리즘을 사용해 성능을 올렸다면, VGGnet에서는 필터자체는 제일 단순한 3 x 3필터를 사용하고 깊이를 늘려서 성능을 확보하는 구조를 가지고 있습니다.
이전의 알고리즘들에 비해 2배 이상 층을 늘리면서 성능을 증가시켰지요.
구조는 크게 convolution층, RELU(activation function), FC(fully connected)층으로 구성되어 있습니다.
convolution층은, image에서 feature를 뽑아내기 위한 층이며
activation function에 관한 건, 아래의 링크에 가 보시면 알 수 있을 꺼에요.
https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0
층이 깊어질 경우, 학습의 왜곡을 막기 위해 처음 11층까지의 학습 결과에 대해 참고하도록 구성되어 있습니다.
간단하게 보이는 것과는 달리 내부 네트워크 구조는 3차원이며, 각 층마다 64개 이상의 필터 층으로 구성되어 있어 막대한 양의 파라미터들을 처리하게 됩니다.(이로 인해 고성능 그래픽카드가 필요...)
표를 보면 각 layer옆에 2의 배수 숫자가 있는 것을 볼 수 있는데, 이게 해당 층에서의 필터 갯수로 각각 다른 결과를 출력합니다.
이러한 필터들에서 나온 값들은, activation 층을 이용하여 걸러진 뒤 다음 층으로 보내집니다.
RELU에 관한 건
http://mongxmongx2.tistory.com/25 를 참고하시면 될 듯 하네요.
image 입력에 대해 크기가 변동되는 층마다 결과를 내 보자면요.
이런 식으로
중간 층마다 이미지 형태로 Normailzation된 결과를 뽑아보면 사진의 detail은 사라지고 특성만 남게 되는 것을 확인 할 수 있더군요. 물론 처리 과정에서 색상은 소실되구요.
RGB등 색상 정보의 경우, 첫 conv layer를 거치면서 dot product에 의해 하나로 처리되며, 실제로는 float값으로 처리됩니다.
이러한 구조들을 이용해서 각 층마다 image feature를 추출하며 이를 응용해 관련 application을 만들 수는 있을 듯 한데, 어디다가 써먹어야 될지는 아직 감이 안 잡히네요. 조금 고민해 봐야 할 듯 하기도...
댓글 없음:
댓글 쓰기
글에 대한 의문점이나 요청점, 남기고 싶은 댓글이 있으시면 남겨 주세요. 단 악성 및 스팸성 댓글일 경우 삭제 및 차단될 수 있습니다.
모든 댓글은 검토 후 게시됩니다.