[AI로 만드는 컬처] ⑧확장된 예술주체로서의 기술적 오브제: AI 앙상블

서양철학의 관점에서 신(idea/god)과 인간(mimesis)의 관계는 전통적으로 인간과 사물의 주종관계와 매우 유사하다. 사물은 인간에 의해 제작(poiein)되고, 제작된 사물은 인간에 의해 사용되어왔다. 인간의 목적을 성취하기 위한 기능성과 유용성은 사물의 존재 근거이자 본질이다.

또 다른 인간의 피조물인 ‘예술작품’은 일반 사물과 다른 독특한 지위를 누리며 특별한 존재로 인식되어 왔다. 특히 서양음악에서의 악기는 그 ‘기능성’에도 불구하고 음악가와의 협력을 통해 도구 이상의 존재로 인식되어 단순히 음악 도구(musical tool)가 아닌 ‘악기(instrument)'로서 높은 지위를 가진다.

본질적으로 서양음악은 서양미술보다 규칙적이며 분명한 상징(언어)체계를 발전시켜왔다. 이러한 전통의 연장선상에서 20세기 서양음악은 쇤베르크(Schönberg)의 무조음악(atonal music)과 음렬음악(serial music)으로, 제나키스(Xenakis)의 확률음악으로 발전하면서 알고리즘을 바탕으로 한 컴퓨터음악으로 진화했다.

알고리즘이 인공지능(AI)으로 더욱 발달하고 로봇과 같은 하드웨어와 결합하면서 예술적 대리자(delegator/agent) 이상으로 그 창작지위가 상승됐다. 즉 사물, 악기에서 발전한 기술적 오브제들의 예술 주체성이 강화되고 있는 것이다.

필자는 이번 칼럼에서 서양음악에서 기술적 오브제들이 알고리즘·AI와 결합해 펼치는 앙상블의 편린들을 공유한다. 더불어 예술창작에서 인간과 기계의 존재론적 평등성과 기술적 오브제의 창작 주체성에 대해 고민해보고자 한다.

창작의 주체성, 창작의 민주화

주체성이란 여러 측면에서 생각할 수 있으나 어떤 행위에 대해 자유, 자율 그리고 주인의식을 가지고 독립적으로 그 행위에 임하는 성질이라 할 수 있겠다. 그러다보니 주체성에는 결국 ‘힘’의 개념이 깊이 관여하게 되고 권리적 측면이 강하게 작용한다.

한 존재가 주체성을 가질 수 있다면, 어떤 다른 존재도 주체성을 가질 수 있겠고, 반대로 어떤 또 다른 존재의 경우엔 주체성을 가질 수 없거나 상대적으로 주체적이지 못할 수도 있다. 인간과 사물의 관계에서 주체성이란 결국 제작, 소유 그리고 사용에 있어 누가 주체성을 가지고 그 주체적 행위를 수행하는가의 문제다.

인간의 역사는 이러한 주체성의 민주화 역사(평등한 주체성 확장의 역사)라 할 수 있다. 다음 단계는 이 주체성의 확장이 인간 사이에서 그치는 것이 아니라 사물로 전이(轉移)될 수 있는가이다. 전통적으로 인간과 사물은 주종관계에 있으며 인간은 제작, 소유, 사용‘하는’ 적극적인 존재로 사물은 제작, 소유, 사용‘되는’ 수동적인 존재로 인식되어 왔다. 현재 AI의 급속한 발달은 사물이 주체성을 가질 수 있는 ‘가능성’을 제시해 준다는 점에서 큰 의미를 가진다.

주체적 사물은 도구 이상의 존재로서 자유, 자율, 주인의식을 가지고 독립적인 행동을 할 수 있다. AI에 의해 사물은 어떤 행동에 있어 융통성 있게 재량을 행사할 수 있다는 것이다. 인간만이 가져왔던 주체성이 사물에게도 분배된다는 점에서 사물 역사 속 존재론적 측면에서 주체성에 대한 민주화 과정이라 할 수 있겠다.

이 이야기는 예술영역에서 예술가와 예술작품 간 관계에도 그대로 적용된다. 전통적으로 예술창작-감상에서는 크게 예술가-예술작품-감상자가 분명한 역할분담과 대립구도를 가졌다. 하지만 현재의 예술에서는 예술가뿐만 아니라 관객, 작품조차도 (정도와 수준 차이는 있지만) 예술창작에 주체적으로 참여하는 경우가 늘어나고 있다.

최근 예술에서는 예술가가 어떤 예술 환경을 조성하면 그 안에서 관객이 제2의 창작에 참여하거나, 예술가가 관객과 상호작용(협업)하는 경우를 종종 볼 수 있다. 혹은 어떤 알고리즘이 탑재된 작품(기술적 오브제)이 관객과 상호작용해 예술결과를 재창작하는 경우도 있다.

창작의 절대적인 주체성을 가진 예술가(인간)가 점점 감상자인 관객(인간)에게, 그리고 이제는 피조물인 예술작품(기술적 오브제)에게 창작의 권리를 분배 혹은 위임하는 현상이 증가하고 있다. 여기에 특히 큰 역할을 하는 것이 테크놀로지와 알고리즘, 그리고 AI다.

필자가 협업한 작품 <Etude for Urban Play, Season Singapore>의 경우 창작 주체 범위 확장을 손쉽게 이해할 수 있는 사례다. 필자와 협업 작가들은 기존 턴테이블에서 착안한 시각소리창치를 고안했는데, 이것은 그림을 그리는 동시에 소리를 만드는 장치다. 턴테이블 위에는 LP레코드 대신 빈 종이디스크를 놓았다. 이 종이디스크 위에 관객이 물감으로 간단한 그림을 그리거나 테이프와 스티커로 콜라주를 만들면 알고리즘에 따라 즉시 소리로 연주하는 관객 참여형 작품이다.

여기서 1차 창작자인 예술가들은 관객들이 작품을 감상하는 과정, 창작에 직접 참여할 수 있는 환경, 작품 장치를 고안·제공하며 손쉽게 참여할 수 있도록 보조하는 조력자 역할을 했다.

우리는 관객이 수동적으로 관조하는 것이 아니라 직접 만지고 창작하는 적극적인 예술을 도모함으로써 창작 주체의 다각화를 실험했고 매우 좋은 반응을 얻었다. 관객들이 그린 종이디스크 이미지들을 전시장 한 벽면에 전시하거나 소장할 수 있도록 해 예술창작이 예술가에 국한된 것이 아니라 관객에게도 분배될 수 있도록 했다.

턴테이블 형태의 시각소리장치를 포함한 일련의 시스템은 그 자체로서 작품인 동시에, 예술가·관객과 직접 상호작용하면서 창작을 위해 우리가 의존해야하는 자그마한 창작 대리자(agent) 역할을 했다. 이를 위해 우리는 높은 수준의 인공지능은 아니지만 그림 데이터를 소리로 전환하는 단순한 알고리즘으로 기술적 오브제와 인간의 앙상블을 추구함으로써 창작 주체성을 확장했다.

알고리즘과 정신작용, 그리고 음악

알고리즘이란 특정 문제를 해결하고 목적을 달성하기 위해 어떤 주어진 시간 동안 단계별로 수행하는 절차들의 모음을 말한다. 알고리즘에서는 단순화된 절차와 규칙을 구성해 최단시간 최적화된 결과를 산출하는 것이 중요하다. 대부분 컴퓨터 소프트웨어는 여러 알고리즘의 집합으로 이루어져 있으며, 알고리즘을 작성하는 것이 소프트웨어를 프로그래밍하는 과정에서 핵심이 된다.

이렇듯 알고리즘의 구성체인 소프트웨어는 데이터로 존재하고 그것을 실행했을 때 비로소 발현되기 때문에 컴퓨터 입장에서 이는 정신작용(精神作用)에 가깝다. 소프트웨어가 저장된 물질적인 하드웨어는 컴퓨터 육체에 가깝다고 할 수 있다. 따라서 소프트웨어 알고리즘에 대한 고민은 기계(사물)의 정신작용에 관한 고민에 해당한다. AI 역시 알고리즘의 집합체로 단순화할 수 있으므로 알고리즘 문제는 인공지능 문제와 깊은 관계를 가진다.

여기서 갑자기 알고리즘과 소프트웨어를 언급하는 이유는 서론에서 말한 것처럼 서양음악체계는 규칙적이고 언어적이기 때문에 특정한 절차들의 집합인 알고리즘으로 해석하기가 용이하기 때문이다. 서양음악의 화성법과 대위법은 조성음악체계(tonal music)를 기반으로 하는 규칙의 집합이다. 전통적인 조성음악형식론도 결국은 어느 정도의 융통성을 가진 법전에 가깝다. 따라서 필자는 미술과 달리 음악이 이러한 문법과 규칙으로 구성된 유사언어체계를 가진 덕에 미술보다 빨리 알고리즘화 할 수 있었다고 추론해본다.

20세기 초반 아르놀드 쇤베르크가 기존 조성음악을 해체하고 무조음악을 제창하면서 고안한 12음기법은 피보나치수열에서 영감을 얻었다. 한 옥타브 내 12개 반음들을 공평하게 중복 없이 배치해 음의 열을 만들고 이를 바탕으로 곡 전체의 화성적, 대위적 요소를 구성하는 작곡법이다.

따라서 쇤베르크의 경우 ‘한 옥타브 내 12개의 반음들을 공평하게 중복 없이 배치하여 음렬 만들기’ 라는 알고리즘을 만든 것이 1차적으로 중요하다. 이 12음기법은 결국 음렬주의 음악으로 발전해 20세기 현대음악을 지배하게 된다.

쇤베르크는 음렬의 음높이(pitch) 배열과 구성에 주목한 반면, 이후 그의 제자 안톤 베베른(Anton von Webern)은 리듬의 음렬적 배열과 구성에까지 주목했다. 프랑스의 저명한 작곡가 올리비아 메시앙(Olivier Messiaen)과 그의 제자들은 베베른을 계승해 음높이와 리듬, 셈여림, 음색 등 모든 음악 속성을 음렬화함으로써 음악을 조직화하는 총렬주의 음악(total serial music)으로 발전시켰다.

총렬주의 작곡가는 쇤베르크나 베베른의 음렬주의보다 더 복잡한 음렬배치 알고리즘을 음악미학적으로 고안해야한다는 문제에 도달했다. 이는 음의 다양한 속성을 배치하는 ‘미학적 경우의 수’와 관련되면서 이후 우연성음악, 확률음악으로 연계됐다.

우연성(chance)과 비결정성(indeterminacy)이 20세기 현대예술의 중요한 개념인 만큼 존 케이지와 카르하인츠 스톡하우젠을 이야기하는 것이 일반적이지만, 여기서는 수학적 확률음악(Stochastic Music)을 창안하고 컴퓨터 프로그래밍으로 알고리즘을 작성해 음악을 만드는 생성음악(generative music)의 선구자인 이안니스 제나키스를 언급하려 한다. 제나키스에 이르면서 비로소 음악은 알고리즘의 문제로 귀착하게 되고 소프트웨어화 된다.

제나키스의 음악은 그의 저서 <Formalized Music>에서 잘 나타난다. 내용 대부분은 수학을 작곡에 적용하는 이론과 실제에 관한 것인데, 확률통계론, 마코브 체인(Markov Chain), 게임이론(game theory), 집합이론(set theory) 등을 이용한 알고리즘 작곡의 전형을 보여준다. <Formalized Music>에서는 각 수학이론을 적용한 작품 사례를 같이 수록했는데 악보뿐만 아니라 그림과 스케치, 도표와 순서도, 혹은 포트란(Fortran)과 C와 같은 컴퓨터언어로 작성한 코드를 바탕으로 자신의 음악을 설명했다.

더욱 놀랄만한 것은 1960년대에 그가 창안한 미세사운드(micro-sound)라는 개념이다. 아주 짧은 지속시간을 가진 최소단위 사운드 입자를 설정하고 이들 군집의 배열, 가공, 재조합을 통해 다른 소리를 만드는 새로운 음향합성방법을 말한다. 오늘날 사운드특수효과나 환경음(ambient sound)을 생성할 때 사용하는 그래뉼라 신세시스(granular synthesis)의 모태다.

제나키스와 그의 후예들에 의해 음악이 알고리즘화되면서 인간만이 악보를 그려 작곡하고 연주하는 방식으로부터 다른 차원으로 변화하기 시작했다. 이제 음악 창작에서는 인간이 자동작곡이 가능한 AI 알고리즘을 작성하면 이에 따라 융통성을 가진 기술적 오브제가 시시각각 다른 음악을 생성하는 방향으로 발전하고 있다. 사물이 점차 창작 주체성을 나눠가지고 있다는 징후로 보인다.

인간과 AI의 앙상블

이렇게 인간적인 융통성을 탑재한 기술적 오브제들은 재량권을 가지고 창작의 주체가 되고 있다. 물론 현재는 이 오브제들이 가진 융통성이 높지 않기 때문에 사물이 창작의 주체성을 가지고 있다고 보기는 어렵다. 하지만 우리는 이미 생활 속에서 AI를 장착한 사물에 간단한 일들을 위임하고 있다.

예술창작에서도 비슷한 상황을 발견할 수 있다. 2010년 한국에 내한 공연했던 미국의 저명한 재즈음악가 팻 메스니(Pat Metheny)의 <Orchestrion>을 보면, 이미 10년 전부터 악기연주에서 로봇 간 앙상블뿐만 아니라 인간과 로봇의 앙상블에 대한 초기 징후를 확인할 수 있다. 여기서 마린바, 기타, 드럼, 건반 등 다양한 악기가 편성된 로봇 오케스트라에 둘러싸인 팻 메스니는 기타를 가지고 다양한 곡을 연주한다.

이 로봇 멤버들에게 탑재된 제어 알고리즘은 현재 딥러닝 수준은 아니지만 각 로봇들은 짜여진 각본대로 잘 연주한다. 멀지 않은 미래에 우리가 보게 될 인간과 기계의 자연스러운 음악 앙상블의 전형이라고 볼 수 있다.

미국 조지아공대 뮤직 테크놀러지 연구센터 디렉터인 길 웨인버그(Gil Weinberg) 교수 연구팀은 팻 메스니보다 발전된 인간과 기계 앙상블을 보여준다. 연구팀이 개발한 시몬(Shimon)은 마림바를 연주하며 노래를 부를 수 있는 싱어송라이터 로봇이다. 시몬은 기계학습(ML)을 통해 새로운 스킬들을 꾸준히 익혀왔으며 인간과 협력해 가사와 선율을 작곡할 수 있는 능력을 갖추었다.

사람이 어떤 주제를 제시하면 시몬은 관련 가사를 쓰고 적당한 선율을 만들어낼 수 있다. 사람과 시몬은 협력해 노래를 작곡할 수 있을 뿐만 아니라 함께 노래를 공연하는 것도 가능하다. 시몬이 보다 생명체처럼 연주하고 노래 부를 수 있도록 적절히 입모양을 바꾸거나 표정을 짓는 등 시각적 상호작용까지 고려한 것 또한 흥미롭다.

시몬을 바라보면 지식과 융통성 그리고 유사감정을 지닌 새로운 기술적 오브제들이 창조되고 있음을 직시하게 된다. 이 오브제들은 이전 것들 보다 적극적으로 인간과 함께 예술을 창작하는 모습을 보여준다.

여기서 우리는 또 다시 반문하게 된다. 시몬은 그저 우리의 피조물인가 아니면 단순한 대리자인가? 멀지않은 미래에도 창작의 주체성은 인간 고유의 본성으로 남을 것인가? 그간 역사에서 인간의 창작 주체성의 분배되고 확장된 것처럼 인간에게서 사물로 전이되는 주체성은 어느 정도에 이를까? 주체성의 민주화가 인간의 영역을 넘어서는 시대가 도래하고 있는 것은 아닌가 질문해본다.

[글 싣는 순서]