XAI(eXplainable AI, 설명 가능한 인공지능)에 관하여.

XAI(eXplainable AI)이란, 작동원리가 명확하게 분석되지 않는다는 복잡 인공신경망의 한계를 극복하고 인간 수준에서 그 작동 원리를 이해하기 위해 개발되고 있는 부분입니다.

현대의 뉴럴 네트워크들은 인간 수준에서 '일단 설계 해 보았더니 결과가 좋게 나왔더라' 수준이 많고, 주요 저널에 올라오는 연구들도 80% 정도는 위와 같은 수준으로 쓰여진 것들이 대부분이거든요.
이 정도로 현대의 뉴럴 네트워크는 인간 수준에서 그 작동기전에 대해 정확히 이해하기가 어려우며, 심지어는 대부분의 관련 연구자들에게서조차 그렇습니다.


이와 같은 '원리를 정확히 파악할 순 없지만 작동은 잘 된다'류의 딥 러닝 연구방법과 기술분석의 한계를 극복하기 위해 연구되는 부분이 소위 '설명 가능 인공지능'이에요.












위의 그림은 기존의 인공지능과 설명 가능 인공지능의 차이에 대해 개념적으로 설명한 것인데요. 기존의 인공지능은 대체로 '일단 신경망에 넣어서 학습시켜봤더니 95%로 고양이라고 결론이 나오더라'라면, 설명 가능 인공지능에서는 그렇게 판단한 기준이라던가 매커니즘에 대해 인간이 이해할 수 있도록 그 판단근거나 관련 정보들이 결과와 같이 나타나게 됩니다.

이런 식으로 인공지능이 결정을 내리는 과정에 대해 인간에게 알려줌으로서, 인간 연구자나 사용자가 인공지능을 이해할 수 있게 하는 것이 설명 가능 인공지능의 개발 목표이자 이유에요.


현재 연구되고 있는 설명 가능 인공지능의 종류에는 크게 2가지가 있습니다.


1. 기존의 신경망에 설명을 위한 역연산 신경망을 추가하여 연산 과정을 설명하는 구조

2. 기본 설계부터 인간이 이해할 수 있는 구조로 신경망을 만드는 것.



먼저 1. 에 대해서 설명하자면, 기존의 네트워크 구조에 역연산을 실행하는 네트워크 구조를 추가하여 중간 과정을 인간에게 알려주는 구조에요.


위의 그림은 현대의 인공신경망에서 가장 많이 활용되는 구조인 convolution layer에 대해 역연산을 수행하는 것에 대한 개념도인데요. 대응하는 convolution layer에서 추론된 정보를 역 연산하여 현재 신경망 층에서의 추론상태를 사용자나 연구자에게 출력하는 구조를 가지고 있습니다.


2. 기본 설계부터 인간이 이해할 수 있는 구조로 신경망을 만드는 연구는.. 사실 현재로서는 그리 활성화되어 있지 않은 분야입니다. 왜냐하면 신경망 구조를 완전히 새로 만들어내는 것이 어려운데다가 인간의 사고처리를 모방하여 만들어낸다고 해도 성능이 좋을 것이라는 보장이 없기 때문입니다.

위의 그림은 한 인터넷 소스로부터 가져온 것인데요... 사실 위와 같은 신경망은 현재 사용되지 않고 있고 성능도 미지수입니다. 다만 인간의 판단방식을 최대한 모사하여 네트워크를 구성한다면 저런 형태를 띌 가능성이 높다 식으로 관련된 일부 연구가 진행되고 있습니다.



설명 가능 인공지능에 대한 연구는 현재 주로 DARPA나 금융계통 쪽에서 약간 이루어지고 있으나 주류는 아닌데요.
그 이유는 설명 가능 인공지능이라는 것이 근본적으로 기존의 신경망 구조와는 상당히 다르게 만들어야 한다거나, 혹은 추가되는 연산 구조로 인해 성능이 상당히 많이 저하되기 때문입니다. 게다가 현대 인공지능이 다루는 데이터량은 워낙에 방대하여 인간이 물리적으로 그 처리과정에 대해 세세하기 이해한다는 것이 불가능하기 때문이기도 하구요.

사회적인 측면에서는... 비 전공자의 인공지능에 대한 이해와 신뢰를 확보하기 위해서라거나 일부 법률적인 문제의 해소 목적이 있다고 하더군요.(EU GDPR 22조)



인간의 신경망에 대한 이해를 넓히는 것은 분명 필요한 연구이고 나름대로 현대 인공지능 연구의 새 장일 가능성도 높다고 생각되지만... 결국에는 물리적인 정보 처리량이나 복잡도 문제로 인해 근본적인 한계를 가질 수 밖에 없을 것이라고 예상되네요.



참고 자료(사진 자료와 XAI관련 자요)

http://blog.skby.net/xai-explainable-ai-%EC%84%A4%EB%AA%85-%EA%B0%80%EB%8A%A5%ED%95%9C-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5/

file:///C:/Users/Arwen/Downloads/%EC%84%A4%EB%AA%85%20%EA%B0%80%EB%8A%A5%ED%95%9C%20%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5(eXplainable%20AI,%20XAI)%20%EC%86%8C%EA%B0%9C%20(1).pdf