법학·공학 전문가 만나 ‘인공지능 원론: 설명가능성을 중심으로’ 출간
설명가능 AI 가능하게 하는 기술부터 법제도까지 폭넓게 다뤄
자율주행보다 의료·금융에서 절실...관련 법 만드는데 조급하지 말아야
인공지능(AI) 기술이 우리 일상에 들어오기 위한 핵심 관건으로 설명가능한 AI를 빼놓을 수 없다. AI 설명가능성은 AI의 판단 이유를 설명하는 것을 의미한다.
금융에서의 신용평가나 의료에서의 질병 진단·치료와 같이 개인에게 중요한 영향을 미치는 영역에 필수적이다. 현재 금융, 의료 현장에서는 관련 연구가 상당히 진전됐지만 현장 보급에는 어려움을 겪고 있다. 그 이유 중 하나는 단연 AI 설명에 대한 법제도가 미비하기 때문이다.
자율주행에서도 설명가능한 AI는 오작동 시 정확한 피해 원인을 파악해 기술을 개선하기 위한 중요한 열쇠다. AI 윤리 분야에서도 설명가능한 AI는 중요한 역할을 한다. 최근 다수 국회의원들이 기업 AI 서비스의 알고리즘 공개를 의무화하는 법안을 발의한 것도 공정성을 담보하기 위해서다.
AI 설명가능성(XAI, eXplainable AI)에 대해서는 크게 기술과 법제도 측면 두 가지로 나눠 논의할 수 있다.
딥러닝 기술은 본질적으로 판단 과정을 설명할 수 없는 블랙박스 문제를 지닌다. 하지만 이것이 곧 설명가능한 AI가 불가능함을 의미하지는 않는다. AI 결정 과정을 완전히 이해하기 어렵더라도 사용한 AI 모형 유형, 학습데이터, 입력·결과값 등을 통해 개략적으로 가늠할 수 있다.
설명가능한 AI 기술이 확보된다고 해서 반드시 문제가 해결된다고도 할 수 없다. 다양한 기술 형태는 물론이고 기술을 적용하는 분야, 개별 상황, 사용 대상까지 고려해 어떤 형태로 어느 범위까지 AI 판단 과정을 설명할 것인지 규정하는 법제도가 필요하다.
AI 기술이 사회 전 영역에 적용되는 만큼 다양한 분야 전문가들이 모여 합의점을 찾아야 하는 일이겠다.
국내 AI 법제도 연구 권위자인 서울대 고학수 교수와 대통령직속 4차산업혁명위원회 위원장인 서울대 윤성로 교수는 최근 AI 설명가능성에 대한 책을 공동 집필했다.
‘인공지능 원론: 설명가능성을 중심으로’라는 책에는 두 교수 외 통계, 의료 등 다양한 분야 전문가들이 참여했다. 서울대 이외 학교 소속 교수부터 교수가 아닌 연구원까지 7명의 전문가가 새벽까지 토론하며 만든 성과다.
이번 책 집필을 위한 연구를 총괄한 고학수 교수와 기술 분야 연구를 리드한 윤성로 교수를 만나 AI 설명가능성에 대한 ‘많은 것’을 물었다.
“AI 설명가능성 연구 바라보는 세상 시각 달라졌다”
Q. '인공지능 원론' 도서 언제 어떤 계기로 집필하게 됐나?
(고학수 교수)
이번 도서 집필은 2018년 서울대 본부에 융합연구를 장려하는 '융복합연구지원과제'에 선정, 지원을 받아 진행됐다. 관련 연구를 가장 먼저 기획한 때는 AI에 대한 관심이 늘어나기 시작한 2015년이다. 당시 윤성로 교수를 비롯한 다른 교수와 이야기를 나누다가 대학 본부에 과제를 제출했는데 처음에는 떨어졌다. 이 무렵에는 연구계에서도 설명가능성이란 개념이 이제 조금씩 나오기 시작한 단계였다.
(윤성로 교수)
'윤리적인 AI'라는 제목으로 제안서를 냈는데 처음에는 떨어졌다. 지금 생각하면 당연히 선정해줘야 하는 주제인데 당시에는 너무 이른, 앞서가는 느낌이었다.
Q. AI 기술만큼 AI 설명가능성에 대한 사회 니즈가 급변했는데, 체감하기에 어떤지?
(윤성로 교수)
2018년에는 공학자 관점에서의 설명가능성이 대부분이었다면 지금은 개발자, 일반 이용자 각각에 따라 어떻게 설명가능 AI를 제공할 것인지를 고민한다. 대상 각각에 따라 필요한 설명가능성 형태가 달라지기에 훨씬 더 다양한 측면을 보고 있다.
(고학수 교수)
설명가능성이라는 것이 굉장히 공학적이고 테크니컬한 개념인 동시에 일반인들 시각에서 상식적인 개념이기도 하고 또 법적인 개념이기도 하다. 이런 영역이야말로 여러 분야 전문가들이 같이 고민, 논의가 필요하겠다는 생각이 들었다.
‘인공지능 원론: 설명가능성을 중심으로’ 집필에 참여한 저자는 총 7명이다. 여기에는 서울대 이외 대학 소속 교수와 교수가 아닌 연구원까지 참여했다.
고학수 교수(서울대 법학전문대학원), 김용대 교수(서울대 통계학과), 윤성로 교수(서울대 전기정보공학부), 김정훈 교수(서울대 의과대학 영상의학교실), 박도현 박사(서울대 법학전문대학원), 김시원 연구원(서울대 전기정보공학부), 이선구 교수(연세대 언더우드 국제대학)
Q. 다양한 학과는 물론 다른 학교 교수부터 연구원까지 참여했다. 공저자들을 모으게 된 계기가 궁금하다.
(고학수 교수)
책 집필과 특정 연구를 위해 모였다기보다는 이전부터 교류하던 사이다. 다양한 시각을 반영할 수 있게 저자의 소속 학교, 나이, 성별 등을 다양하게 구성했다.
(윤성로 교수)
김시원 연구원의 경우 박사과정 고년차 대학원생으로 졸업만 안 했을 뿐이지 설명가능 AI 분야에서는 전문가라 할 수 있다.
법학자와 공학자가 보는 설명가능 AI, 뭐가 다를까?
설명가능한 AI란 AI 결과물이 등장하게 된 이유를 설명해 기술 신뢰성을 높이는 기술이다. AI를 사회 전 영역에 도입하는 것을 본격 논의하기 시작한 상황인 만큼 직관적으로 필요성을 이해할 수 있다. 반면 전문가들이 말하는 설명가능 AI란 보다 다양한 모습을 지니고 있으며 역사가 오래됐다.
Q. 법학자와 공학자가 보는 설명가능 AI란 무엇인가?
(고학수 교수)
법학자 관점에서는 기술을 현장에 적용하기 위한 제도틀이다. 보통 금융, 의료와 같은 민감 영역에서 니즈가 나온다.
(윤성로 교수)
공학자 입장에서 기술을 널리 보급하기 위해 꼭 해결해야할 요소 중 하나다. AI를 비롯한 기술 보급은 크게 3단계로 나뉜다. 첫 번째는 기술 성능이 떨어져 자칫하면 분야가 없어질 수 있는 한치 앞을 내다보지 못하는 단계다. 두 번째는 기술 성능을 본격적으로 끌어올리려 노력하는 단계다. 이게 어느 정도 지나면 어떻게 최대한 많은 사람들에게 기술이 사용될 수 있을까를 논하는 단계로 가게 된다. 설명가능 AI는 세 번째 단계에 해당한다고 볼 수 있다.
Q. 설명가능성, 해석가능성, 투명성, 공정성까지. 관련 용어들이 많아 비전문가 입장에서는 혼란스러운데 어떻게 생각하나?
(고학수 교수)
이 용어 구분이 사실 지금도 뚜렷하지 않다. 더 중요한 일은 AI 설명가능성이 어떤 상황에는 필요하고 또 필요가 없는지, 설명을 한다면 어떻게 진행할 건지에 대해 체계화하는 것이다. 예를 들어, AI 의료기기로 시술을 하게 될 시 환자가 의료기기에 사용하는 머신러닝(ML) 툴이 무엇이냐 물을 수 있다. 이 때 궁금한 것 100가지 모두를 다 설명하라 하면 제도화가 어렵다. 어떤 부분을 어떻게 설명할 것인지 정해야 한다.
Q. AI 등장 이전 금융, 의료 분야에서 요구되는 설명요구권과 관련되어 보인다. 기존 법 맥락과 이어지는 것이라 할 수 있나?
(고학수 교수)
그렇다. 현재 은행 대출 거래 시 사용하는 개인신용평점은 통계 기반 기술을 사용하는데 대출 거절 이유에 대해 설명을 할 수 있고 관련 제도화가 되어 있다. 여기에 보다 고차원적인 AI 기반 평가 방식을 도입했을 시 제도가 필요하다. 해당 기술은 현재 여러 곳에서 개발 중인데 현장 도입은 어려운 상황이다. 중요한 이유 중 하나가 설명 관련 제도를 마련하지 못했기 때문이다. 어떤 AI 모형, 투입(input) 데이터를 설명해야 하는지, 모형 종류가 아닌 파라미터가 무엇인지, 세밀하게 알려줘야하는지 등 관련 논의가 안 됐다.
Q. AI를 적용하는 분야별로 설명가능성이 필요한 정도가 다른가?
(고학수 교수)
금융, 의료 분야에 주로 필요하며 모든 AI 적용 영역에 설명가능성이 크게 요구되진 않는다. 예를 들어 이루다 챗봇의 대답에 “왜 그렇게 대답했지? 설명해봐라”고 요구하는 소비자는 거의 없다. 이용자들이 이유를 알고 싶은 갈증이 큰 영역이 있고 여기에서 설명가능성을 보다 염두에 두고 개발을 진행한다. 필요성이 덜한 챗봇과 같은 영역에서는 자연스러운 대화를 실현하는 것에 초점을 둔다. 모든 영역에 동일한 기준으로 설명가능성을 요구할 수 없고 그럴 필요도 없는 것이다.
Q. AI 설명가능성이 중요한 분야로 자율주행을 빼놓을 수 없겠다. 완전자율주행 실현되려면 사고 시를 대비해 모든 부분 설명 가능해야하지 않을까?
(윤성로 교수)
현재 자율주행차 기술 상태에서 본격 논의할 부분은 아닌 것 같다. 우선 자율주행차 기술 자체를 가능하게 해야 한다. 현재 자율주행은 레벨2까지 가능하며 레벨3로 넘어가기 위해 연구 중이다. 일론 머스크를 비롯한 자율주행 관련 사업을 하는 CEO들은 곧 기술이 나올거라 하지만 아직은 시간이 더 걸릴 것 같다.
(고학수 교수)
현재 차를 운전하는데 있어 사람들이 차 엔진이 어떻게 작동하는지에 대해 깊은 이해를 필요로 하지 않는다. 현재 자율주행차에 대해서는 어느 정도로 믿어야 하는지 가늠이 안 되는 것이 문제다. 기술 개발이 충분히 되면 신뢰가 생겨 설명가능성 요구도 자연스레 줄어들 것이다.
AI 설명 가능하려면 설명가능 AI 기술이 필수...어떻게 가능할까?
AI 판단 과정을 설명하려면 설명이 가능한 AI 기술이 필요하다. 딥러닝의 고질적인 문제로 여겨지는 블랙박스 문제는 모든 AI 모델에 해당되는 것은 아니다. 크기가 작은 AI 모델 중에서는 이미 설명가능성이 확보된 것도 있다.
Q. 책 서두에서 딥러닝 한계로 꼽히는 블랙박스에 대해 오해가 있다고 말한 부분이 인상깊었다. AI 결정 과정 모두를 이해하지 못하더라도 모형 유형이나 학습 데이터, 입력·결과값 등을 통해 개략적으로 가늠할 수 있다고 했는데?
(윤성로 교수)
기존 도메인 전문가들이 새로운 기술을 받아들이는 단계가 있다. 처음에는 부인하면서 서서히 받아들이는데 블랙박스 한계로 단순히 딥러닝 역할을 한정짓는 것은 기존 도메인 전문가들의 방어기제적인 면도 포함되어 있지 않나 생각한다.
Q. AI 모델 크기가 클수록 설명가능성이 떨어지는 이유는 무엇인지?
(윤성로 교수)
AI 설명가능성에는 트레이드오프가 있다고 말한다. 모델 규모와 설명가능성은 보통 반비례한다. 복잡한 모델은 설명이 어렵고 간단한 모델은 설명이 쉽다. 구조가 복잡한 것이 아니라 양이 문제다. AI 모델을 하나하나 뜯어보면 크리스탈처럼 일정하고 간단한 구조인데 이것이 무수히 많으면 설명이 어려워지는 것이다.
Q. 설명가능 AI 연구를 통해 해당 문제를 극복할 수 있을까?
(윤성로 교수)
최근 복잡한 모델이면서 설명가능성도 유지하는 것들이 등장하고 있다. DNN이지만 설명이 어느 정도 되는 모델을 지향하는 추세다. 설명가능 AI 연구에도 3개 단계가 있다. 첫 번재는 설명가능성에 대해 아무도 신경쓰지 않는 상황이다. 이 때는 설명가능성과 모델 성능 간 트레이드오프를 그대로 받아들인다. 다음은 학습이 완료된 DNN 모델을 설명하는 것을 시도하는 단계다. 세 번째는 처음 모델을 만들 때부터 설명가능성을 염두에 두고 진행하는 것이다.
(고학수 교수)
현재 법원 판결문으로 예측 모형을 만드는 작업을 하고 있다. 여러 AI 모형을 사용해 성능과 설명가능성을 비교한다. 성능에서 큰 차이가 안 나는 경우 설명가능성이 높은 것을 사용하는 식이다.
Q. 복잡한 모델의 설명가능성을 유지하는 작업이 어떻게 가능한가 궁금하다.
(윤성로 교수)
기존 전통적인 모델 중 가장 해석이 쉬운 선형모델(Linear model)의 데이터와 가중치에 살짝 데코레이션을 한다. 뉴럴네트워크라는 복잡한 모델을 넣어서 데이터와 가중치 각각에 적용한다. 이런 아이디어를 SENN(Self explaining neural networks)이라 한다. 다른 방법으로는 사람 학습 방법을 역엔지니어링해 비슷하게 흉내내는 프로토타입 네트워크(Prototype networks)가 있다.
설명가능 AI 어떻게 실현할까? 섣부른 마음은 금물
AI 설명가능성에 대한 법제도는 앞으로 어떤 방향으로 나아가야 할까? AI 설명가능성에 대한 최신 법제도는 유럽연합(EU)의 개인정보보호규정(GDPR)이 대표적이나 이를 어떻게 해석하고 현장에 적용할 지에 대해서는 논란이 많은 상황이다.
비슷한 움직임으로 우리나라에서는 기업 AI 서비스의 알고리즘 공개를 의무화하는 법안을 다수 국회의원들이 발의했다. 과기정통부와 4차위에서는 AI 투명성 관련 가이드라인 정도만 제시하는 상황이다.
두 교수에 따르면 설명가능 AI는 법 하나를 만들면 해결할 수 있는 주제가 아니다. 기술 발전을 저해하는 규제책이 되지 않으면서 여러 분야 전문가들이 꾸준히 논의를 이어가는 것이 중요하다.
Q. AI 설명가능성에 대한 법제도를 신속하게 마련하지 못하는 이유는 무엇일까?
(고학수 교수)
하루 아침에 정할 수 없는 분야다. 다양한 모형과 규모를 지닌 AI, 실제 영역별로 필요한 것들을 고려해야 한다. 개별 응용 산업에서 각자 무엇이 되고, 안 되는지 갈래가 서야 한다. 현재는 초기 단계에 있다고 보면 된다.
Q. AI 설명가능성에 대한 법제도는 EU의 GDPR이 가장 진전된 결과물이라 할 수 있나?
(고학수 교수)
GDPR이 대표적이지만 여기에 대해서도 어떻게 해석할 지에 대해 전문가들 사이 의견이 분분하다. 우리 책의 한 챕터가 관련 내용이다. GDPR 내 설명가능성 관련 조항을 보면 ‘로직(Logic)’을 알려줄 것을 명시한다. 하지만 어떤 범위까지 알려줘야 하는지에 대한 정확한 가이드는 없다.
Q. 최근 우리나라에서는 다수 국회의원이 공정을 위해 기업의 AI 서비스 알고리즘 공개를 의무화하는 법안을 발의했다. GDPR에서의 ‘Logic’이 여기서의 알고리즘과 동일하다고 볼 수 있나?
(고학수 교수)
마찬가지라고 보는 사람도 있고 전혀 아니라고 보는 의견도 있다. 그 자체가 제대로 정의되지 않았기 때문이다.
Q. 알고리즘 공개 의무화 법안에 대해 개발자들이 알고리즘 범위가 분명치 않다는 문제제기를 했는데 GDPR에서의 문제와 일맥상통하는 것으로 보인다.
(윤성로 교수)
AI 개발자 입장에서는 무엇을 알고리즘이라 정의해야 할지 의문이 든다. 핵심 노하우인지 관여하는 AI 개발 과정 전체를 말하는지 개발자 입장에서는 알 수 없다.
(고학수 교수)
가장 큰 혼란 요소는 알고리즘이라는 단어에 대해 각자가 동상이몽인 것이다. 각기 머릿속 내용이 다르다. 현재로서는 핵심 알고리즘 공개는 지적재산권에 해당되기 때문에 불가능하다.
Q. 일일이 설명을 요구하는 것 이외 인증이나 표준과 같은 제3의 안전장치를 마련하는 논의도 진행 중이라고 들었다.
(고학수 교수)
지난 4월 유럽에서 발표한 AI법 초안에서 가장 많은 비중을 차지하는 것이 인증제도에 대한 것이다. 인증제도는 동전의 양면과 같은 측면이 있다. 장점이라면 기술에 대한 신뢰 기준을 충족했으니 ‘따지지 않고 믿어도 된다’라는 신호를 주는 역할을 하는 것이다. 동전의 뒷면이라면 AI 기술이 실제 일상에 들어올 때는 굉장히 다양한 기술 형태로 다양한 영역에 적용되는데 이를 하나의 모습으로 취급하는 것이다. 이러한 경우 오히려 발목을 잡을 수 있다.
Q. AI 설명가능성에 대한 법제도, 어떻게 나아가야 할까?
(고학수 교수)
앞으로 오랜 시간 거쳐서 해야 될 일이다. 지금 당장 “설명가능 AI 법을 만듭시다”라고 해서 가능한 것이 아니다. 전문가 집단이 모인다고 해서 당장 법 하나를 만들 수도 없다. 종종 “법을 하나 만들면 되겠습니까?”라는 질문을 받는데 나는 “전혀 그렇지 않다”고 대답한다. 법 하나만을 통해 문제를 해결하려는 태도 자체가 문제를 꼬이게 할 가능성이 높다.
(윤성로 교수)
기술적으로도 잘 모르는 상태에서 진행할 경우 기술을 규제하는 쪽으로 갈 가능성이 높다. 구체적 위험이 가시화되는 단계에서 법을 만드는 것이 좋지 않을까 한다. 과기정통부와 4차위에서 제시하는 것도 지침이고 가이드라인이지 법이 아니다. 우유를 먹고 커야하는 아이에게 자라서 불량청소년이 될 까봐 우유를 주지 않을 수는 없는 것이다.
Q. 법제도 이외 설명가능 AI 기술은 어떤 식으로 보완해야 할까?
(윤성로 교수)
복잡한 모델에서의 성능 감소를 최소화하고 설명가능성을 정량화하는 작업이 필요하다. 윤리를 정량화하기 어렵듯 쉽지는 않겠지만 설명가능성, 투명성을 정량화, 지표화할 수 있다면 분명 도움이 될 것이다.
AI타임스 박성은 기자 sage@aitimes.com
[관련기사]‘공정한 인공지능’의 어려움
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com